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内 容 简 介 


本 书 全 和 面 系统 地 介绍 了 由 香农 本 1948 年 提出 的 信息 论 与 编码 理论 的 主要 内 容 ， 以 及 近 几 十 年 来 该 领域 的 
一 些 重要 研究 成 果 , 作者 首先 在 引言 中 向 计 玫 简单 介绍 了 信息 论 与 编码 理论 的 基本 思想 ; 第 部 分 讲解 了 香农 
信息 诠 与 编码 理 沦 的 主要 内 穿 , eM BME SHUR, 以 及 信道 编码 定理 和 仿 源 编 磺 定 理 ; 第 二 部 
分 介绍 了 一 些 基于 香农 编码 理论 的 信道 和 仿 源 编 硝 广 法， 其 蛋 也 括 线 性 伺 、 循 环 玛 、BCH ARSE, SAS 
PHA ee, WEEKS. AEARE SIR, 对 基本 概念 和 基 册 理论 的 阐述 请 晰 明了 , RE 
Ay Fe BE TSE eA ERE TA. 

本 书 适合 作为 高 等 院 校 信息 OR OPERA EH AE SS h. REAL T iB AL 
百 道 习 题 也 有 助 于 具有 一 汇 概 率 论 科 线性 代数 利 识 的 人 自学。 
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2001 年 7 月 间 , 电子 工业 册 版 社 的 领导 同志 拥 冰 各 禹 校 十 几 位 通信 领域 方面 的 老师 , 商量 引进 
国外 教材 问题 。 与 会 同志 对 出 版 社 提出 的 计划 十 分 赞同 , 大 家 认为 , 这 对 我 国 和 通信 和 事业、 特别 是 对 
高 等 院 校 通信 学 科 的 教学 工作 会 很 有 好 处 。 

教材 建设 是 高 校 教学 建设 的 主要 内 容 之 一 , 编号、 出 版 一 本 好 的 教材 , 意味 着 开设 了 一 门 好 的 
课程 ， 甚 至 可 能 预示 着 一 个 备 新 学 科 的 诞生 。20 世 纪 40 年 代 MIT 林肯 实验 室 出 版 的 一 套 28 本 雷 
达 从 书 ， 对 近代 电子 学 科 、 特 别 是 对 雷达 技术 的 推动 作用 ， 就 是 一 个 很 好 的 例子 。 

我 国 领导 部 门 对 教材 建设 一 直 非 常 重视 。20 世纪 8 年代， 在 原 教委 教材 编审 委员 会 的 领导 下 , 
汇集 了 高 等 院 校 几 百 位 富有 教学 经 验 的 专家 , 编写 ,出 版 了 一 大 批 教材 ; 很 多 院 校 还 根据 学 校 的 特点 
和 和 需要， 陆续 编写 了 大 量 的 讲义 和 参考 书 。 这些 教材 对 高 校 的 教学 工作 发 挥 了 极 好 的 作用 。 近 年 来 ， 
随 着 教学 改革 不 断 深入 和 科学 技术 的 飞速 进步 , 有 的 教材 内 容 已 比较 陈 招 .落后 , 难以 适应 教学 的 要 
R, 特别 是 在 电子 学 和 通信 技术 发 展 神速 、 可 以 讲 是 日 新 月 异 的 今天 , 如 何 通 应 这 种 情况 , 更 是 一 个 
必须 认真 考虑 的 问题 ,解决 这 个 问题 ,除了 依靠 高 校 的 老师 和 专家 撰写 新 的 符合 记 求 的 教科 书 外 , 引 
进 和 出 版 一 些 国外 优秀 电子 与 通信 教材 ， 尤 其 是 有 选择 地 引进 一 批 英 文 原 版 教材 ， 是 会 有 好 处 的 。 

一 年 涤 来 ,电子 工 业 出 版 社 为 此 做 了 很 老 工 作 。 他 们 成 立 了 一 个 “国外 电子 与 通信 教材 系列 
项 目 组 ,选派 了 富有 经 验 的 业务 骨 于 负责 有 关 丁 首 , 收 集 了 230 作 种 通 倩 教材 和 参考 书 的 详细 资料 ， 
调 来 了 100 余 种 原版 教材 样 书 ,， 依靠 由 20 余 位 专家 组 成 的 出 版 委员 会 ， 从 中 精 选 了 402, A 
丰 语 ,覆盖 了 电路 理论 与 应用 、 信 生 与 系统 、 数 字 信 号 处 理 、 徽 电子 、 通 信 系 统 、 电 厂 场 与 徽 该 等 
方面 , 既 可 作为 通信 专业 本 科 生 和 研究 生 的 教学 用 书 ， 也 可 和 镍 为 有 关 专 业 人 员 的 参考 材料 。 此 外 ， 
Dee, 有 的 翻译 为 中 文 , 还 有 部 分 教材 直接 影印 出 版 ， 以 供 教师 用 奖 语 直接 返 课 ,希望 这 些 教 
材 的 引进 和 出 版 对 高 校 通 信教 学 和 教材 改革 能 起 一 定 作用 。 

在 这 里, 我 还 要 感谢 参加 工作 的 各 位 教授 、 专 家 、 老 师 与 参加 翻译 、 编辑 和 出 版 的 同志 们 。 各 
位 专家 认真 负责 、 产 说 细 致 .不辞 享 劳 、 不怕 琐碎 和 精益 求 精 的 态度 , 充分 体现 了 中 国教 育 工作 者 
和 出 版 工作 者 的 良好 美德 。 

随 着 我 国 经 济 建设 的 发 展 和 科学 技术 的 不 断 进步 ， 对 高 校 教 学 工作 会 不 断 提出 新 的 要 求 和 项 
A., RE, Temp, 要 做 好 引进 国外 教材 的 工作 , 一 定 要 联系 我 国 的 实际 。 教材 和 学 术 专 著 不 同 ， 
既 要 注意 科学 性 、 学 术 性 ,也 要 重视 可 读 性 ,要 深信 浅 出 ， 便 于 读者 自学 ; 引进 的 教材 要 适应 高 校 
教学 改革 的 需要 , 针对 目前 一 些 教 材 内 容 较为 陈 轨 的 问题 , 有 目的 地 引进 一 些 先 进 的 和 正在 发 展 中 
的 交叉 学 科 的 参考 书 ， 要 与 国内 出 版 的 教材 相配 套 , 安排 好 出 版 英文 原版 教材 和 翻译 教材 的 比例 。 
我 们 努力 使 这 大 教材 能 尽量 满足 上 述 要 求 ， 和 希望 它们 能 放 在 学 生 们 的 瀑 旧 上， 发 挥 一 定 的 作用 。 

最 后 , MR “国外 电子 与 通信 和 教材 系列 " 项 目 取 得 成 功 , 为 我 国电 子 与 通信 教学 和 通信 产业 的 
发 展 培土 施肥 。 也 悬 切 希 望 读者 能 对 这 些 书 糊 的 不 足 之 处 、 特别 是 翻译 中 存在 的 问题 , 提出 意见 和 


建议 ， 以 便 表 版 时 更 正 。 
AIEA 


中 国 工 程 院 院士 、 清 华 大 学 教授 
“国外 电子 与 通信 教材 系列 ”出 版 委员 会 主任 
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出 版 说 明 


进 人 21 世纪 以 来 , 我 国信 息 产 业 在 生产 和 科研 方面 都 大 大 加 快 了 发 展 速度 ,并 已 成 为 国民 经 
济 发 展 的 支柱 产业 之 一 , 但 是 , 与 世界 上 其 他 信息 产业 发 达 的 国家 相 比 , 我 国 在 技术 开发 、 教 育 培 
训 等 方面 都 还 存在 着 较 大 的 差距 。 特别 是 在 加 入 WTO 后 的 今天 , 我 国信 息 产业 疝 临 着 国外 竞争 对 
手 的 严峻 挑战 。 

作为 我 国信 息 产 业 的 专业 科技 出 版 社 ,我 们 始终 关注 着 全 球 电子 信息 技术 的 发 展 方 同 ,始终 把 
引进 国外 优秀 电子 与 通信 信息 技术 教材 和 专业 书籍 放 在 我 们 工作 的 重要 位 置 上 。 在 2000 年 至 2001 
年 间 ， 我 社 先 后 从 世界 著名 出 版 公司 引进 出 版 了 40 余 种 教材 ， 形 成 了 一 套 “ 国 外 计算 机 科学 教材 
系列 ”, 在 全 国 高 校 以 及 科研 部 门 中 受到 了 欢迎 和 好 评 ， 得 到 了 计算 机 领域 的 广大 教师 与 科研 工作 
者 的 充分 肯定 。 

引进 和 出 版 一 些 国外 优秀 电子 与 通信 教材 ,尤其 是 有 选择 地 引进 一 批 闫 文 原版 教材 , FA Bh 
我 国信 息 产 业 培 养 具有 国际 竞争 能 力 的 技术 人 才 ,也 将 有 助 于 我 国 国内 在 电子 与 通信 教学 工作 中 和 擎 
握 和 跟踪 国际 发 展 水 平 。 根据 国内 信息 产业 的 现状 、 教育 部 《关于 “十 五 ”期 间 普 通 高 等 教 育 教材 
建设 与 改革 的 意见 》 的 指示 精神 以 及 高 等 院 校 老师 们 反映 的 各 种 意见 , 我 们 决定 引进 " 国 党 电子 与 
通信 教材 系列 "， 并 随后 开展 子 大 量 准备 工作 。 此 次 引进 的 国外 电子 与 通信 教材 均 来 自 国际 闭 名 出 
版 商 , 其 中 影印 教材 约 占 一 半 。 教材 内 容 涉 及 的 学 科 方 向 包括 电 路 理论 与 应 用 、 信号 与 系统 、 数字 
信号 处 理 、 微 电子 、 通 信 系 统 、 电 磁场 与 微波 等 ， 其 中 既 有 本 科 专 业 课 程 教材 ,也 有 研究生 课程 才 
材 , 以 适应 不 同 院 系 、 不同 专 业 、 不同 层次 的 师 生 对 教材 的 需求 , 广大 师 生 可 自由 选择 和 自由 组 合 
使 用 。 我 们 还 将 与 国外 出 版 商 一 起 ， 陆 续 推 出 一 些 教材 的 教学 支持 资料 ， 为 授课 教师 提供 帮助 。 

此 外 ,“ 国 外 电子 与 通信 教材 系列 ”的 引进 和 出 版 工作 得 到 了 教育 部 高 等 教育 司 的 大 力 支持 和 
帮助 ,其 中 的 部 分 引进 教材 已 通过 “教育 部 高 等 学 校 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 
的 审核 , 并 得 到 教育 部 高 等 教育 司 的 批准 , 纳 人 了 “教育 部 高 等 教育 司 推荐 一 一 国外 优秀 信息 科学 
与 技术 系列 教学 用 书 ”。 

为 做 好 该 系列 教材 的 翻译 工作 ， 我 们 聘请 了 清华 大 学 、 北 京 大 学 、 北 京 邮 电大 学 、 东 南大 学 、 
西安 交通 大 学 、 天 津 大 学 、 西安 电子 科技 大 学 、 电子 科技 大 学 等 著名 高 校 的 教授 和 骨干 教师 参与 教 
材 的 翻译 和 审 校 工作 .许多 教授 在 国内 电子 与 通信 专业 领域 享有 较 高 的 声望 ,具有 丰富 的 教 党 经验 ， 
他 们 的 渊博 学 识 从 根本 上 保证 了 教材 的 屡 译 质量 和 专业 学 术 方 面 的 严格 与 准确 ,我们 在 此 对 他 们 的 
辛勤 工作 与 贡献 表示 衷心 的 感谢 。 此 外 , 对 于 编辑 的 选择 , 我 们 达到 了 专业 对 口 ; 对 于 从 类 文 原 书 
中 发 现 的 铺 误 ,我 们 通过 与 作者 联络 、 从 网 上 下 载 勘 误 表 等 方式 , 连 一 进行 了 修订 ; 同时 , 我 们 对 
审 校 、 排 版 、 印 制 质量 进行 了 严格 把 关 。 

今后 ,我 们 将 进一步 加 强 同 各 高 校 教师 的 密切 关系 ,努力 引进 更 多 的 国外 优秀 教材 和 教学 参考 
书 , 为 我 国电 子 与 通信 教材 达到 世界 先进 水 平 而 努力 ,由 于 我 们 对 国内 外 电子 与 通信 教育 的 发 展 仍 
存在 一 些 认识 上 的 不 足 , 在 选 三、 翻 泽 、 出 版 等 方面 的 工作 中 还 有 许多 需要 改进 的 地 方 , BK 
渍 生 和 读者 提出 批评 及 建议 。 


电子 工业 出 版 社 





教材 出 版 委员 会 
主 É Rk ”中 国 工程 院 院 七 、 清 华 大 学 教授 


副 主 任 Rei — 北京 邮电 太 学 被 长 、 教 授 、 峡 士 生 导师 
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HTE 总参 通信 部 副 部 长 、 中 国电 子 学 会 会 士 、 副 理事 长 
th i fa ES W pE 
HER ”清华 大 学 教授 , 博士 牛 导 师 、 电 子 工程 系 副 主任 、 通信 与 微波 赋 究 所 所 长 
教育 部 电子 信息 科学 与 工程 类 专业 教学 指导 委员 会 委员 
REL ”北京 大 学 教授 、 博 士 生 导师 、 电 子 学 系 副 主任 
教育 部 电子 信息 与 电气 学 科教 学 指导 委员 会 委员 
Be ”西安 电子 科技 大 学 教授 、 博 士 生 导师 
中 国 通信 学 会 理事 、IEEE 会 十 
程 时 昕 东南 大 学 教授 、 博 士 生 导 师 
移动 通信 国家 重点 实验 室 主任 
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影响 。 本 书 全 面 系统 地 介绍 了 由 香农 在 1948 年 提出 的 信息 论 与 编码 理论 的 主要 内 容 , 以 及 过 
JL 十 年 来 的 -: 些 重要 研究 碟 果 。 | 

本 书 作者 Robert J. McEliece 是 美国 加 州 理工 学 院 电 子 工 程 系 的 知名 教授 ,并 且 是 美国 图 
家 工程 院 院 士 ,IEEE 、 美 国 工 程 教育 协会 和 美国 数学 协会 会 员 。 他 长 期 从 事 信息 论 与 编码 理论 
的 研究 和 教学 工作 , 因 成 绩 卓 越 而 多 次 获奖 , 曾 因 在 纠 错 编 码 领 域 的 突出 贡献 而 获 NASA 团体 
成 就 奖 ,以 及 IEEE 成 立 百年 杰出 贡献 奖章 。 

本 书 是 剑桥 大 学 出 版 社 出 版 的 “Encyclopedia of Mathematics and Its Applications” (数学 及 其 
MARS BD) ROAD Pe. EAA ERAS MARR PSE RIC AY RT BH 
了 PAT stat ee TK ARE SEA P Sp bu Pe TE k SLE ea 
生 或 本 科 生 的 教材 或 参考 书 。 书 中 提供 的 几 十 道 例 题 和 几 百 道 习题 也 有 助 于 有 具有 一 定 概 率 论 
和 线性 代数 知识 的 人 上 自 学。 多 年 以 来 ,北京 大 学 信息 科学 技术 学 院 一 直 将 本 书 原版 作为 研究 
生 课 程 “信息 与 编码 理论 "的 主要 参考 用 书 。 这 次 非常 感谢 电子 工业 出 版 社 给 予 了 我 们 翻译 本 
书 的 机 会 。 

本 书 的 引言 和 第 一 部 分 的 第 1 章 至 第 6 章 的 正文 由 李 斗 翻译 ,引言 和 第 一 部 分 的 习题 及 
注释 由 般 恢 翻译 ;第 二 部 分 第 7 了 章 至 第 9 章 的 正文 由 般 剧 翻译 ,第 10 音 至 第 12 RELAY 
WAR, PORRER P RE: R A A RE ERRAR ARET, 
TOPE HE BTS H BBX EE A SB E P ET OPE T mak. EMR 
EP FR Pee SE, ATRAKTAR, PE X rR BJP TE SI AS RS, Ar 
望 读者 批评 指正 。 
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第 一 版 序 


本 书 骨 在 自 成 体系 地 介绍 信息 论 与 编码 理论 中 的 基本 结论 。 它 写 于 1972 年 至 1976 年 ， 
当时 我 在 美国 加 州 理工 学院 讲 授 这 门 课程 。 我 的 学 生 中 有 一 半 是 电子 工程 系 的 研究 生 ;其 他 
的 则 来 自 各 个 领域 (数学 .物理 .生物 , 甚 鞋 有 一 个 是 英语 专业 的 )。 因 此 这 门 课程 面向 的 既是 
专业 人 人员 也 是 非 专 业 人 员 ,本 书 也 相应 如 此 。 

全 书 由 三 部 分 组 成 :引言 .第 一 部 分 (信息论) 和 第 二 部 分 (编码 理论 )。 读 者 首先 应 该 阅读 
引言 部 分 ,次 为 它 给 出 了 本 书 所 涉及 内 容 的 一 个 概述 。 在 第 一 部 分 中 ,第 | 章 是 基础 ,但 是 并 
不 需要 首先 阅读 这 一 章 , 因 为 它 实 际 上 只 是 关于 入 和 互信 息 量 的 一 个 总 结 ,最 好 将 它 作 为 参 
考 , 以 便 在 学 习 第 2 章 至 第 5 章 时 查阅 。 第 6 章 是 对 前 沿 成 果 的 一 个 综述 ,可 以 独立 阅读 。 在 
第 二 部 分 中 ,第 7 章 是 基础 ,应 该 在 阅读 第 8 章 和 第 9 章 之 前 阅读 。 但 是 第 10 章 的 大 部 分 ,以 
及 第 11 章 则 是 完全 独立 手 第 7 章 的 。 第 12 章 是 独立 于 其 他 所 有 章节 的 另 一 个 综述 。 

每 一 章 后 面 的 习题 非常 重要 ,其 中 介绍 了 正文 中 忽略 的 很 多 锣 节 ,以 及 没有 提 到 的 许多 重 
要 结论 。 建 议 读 者 至 少 要 阅读 一 下 这 些 习 题 。 

本 书包 含 四 个 附录 。 附 录 A 概括 介绍 了 第 一 部 分 所 需 的 概率 论 知 识 - 附录 B 讨 论 的 是 
RRA Jensen 不 等 式 。 在 第 一 部 分 中 经 常 引 用 Jensen 不 等 式 ,不 熟悉 该 不 等 式 的 读者 应 该 
首先 阅读 附录 B。 附 录 C 简 要 介绍 了 第 9 章 所 用 到 的 有 限 域 的 主要 结论 。 附 录 D 则 讲解 了 一 
种 在 方向 图 中 计算 路 径 的 算法 ,第 10 章 中 重用 到了 这 种 算法 。 

这 里 有 必要 说 明 一 下 标号 排序 : 节 、 插 图 .例题 .定理 .公式 ,以 及 习题 都 是 依据 各 章 的 编 
号 ,采用 两 部 分 数字 标记 。 因 此 “2.3 节 ”、“ 定 理 3.4" 与 “习题 4.17 ”分别 表示 第 2 章 的 第 3 T. 
第 3 章 的 第 4 个 定理 ,第 4 章 的 第 17 道 习 题 。 附 录 按 字母 索引 ,所 以 “ 式 (B.4)" 表 示 附 录 B 中 
的 第 4 个 公式 。 

下 面 是 一 些 需 要 解释 的 特殊 符号 ;| x | 表示 小 于 或 等 于 x 的 最 大 整数 ;而 | x | 表示 大 于 或 
等 于 x 的 最 小 整数 。 

最 后 ,我 很 高 兴 在 这 里 表 法 我 的 谢意 。 感 谢 Cus Solomon, 我 这 门 学 科 的 启蒙 老师 ;感谢 
John Pierce, 给 了 我 在 吉州 理工 学 院 教学 的 机 会 ;感谢 Gian-Carlo Rota, 就 励 我 写成 此 书 ;感谢 
Len Baumert, Stan Butman, Gene Rodemich 和 Howard Rumsey, 我 在 书 中 引用 了 他 们 的 研究 成 果 ; 感 
i$} Jim Lesh 和 Jerry Heller ,他们 提供 了 图 6.7 和 图 12.2 的 数据 ;感谢 Bob Hall 绘制 插图 ;感谢 我 
的 打字 员 Ruth Stratton, Lillian Johnson ,特别 是 Dian Rapchak; 并 感谢 Ruth Flohn 进行 了 审 稿 。 


Robern J. McEliece 
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第 二 版 序 


本 版 的 主要 修订 是 在 第 二 部 分 。 这 一 版 对 上 一 版 的 第 8 章 进 行 了 个 改 ,扩展 为 新 的 两 章 ， 
即 第 8 章 和 第 9 章 -原来 的 第 9 章 至 第 11 革 相 应 地 变 为 第 10 章 至 第 12 章 。 新 县 的 第 8 章 全 
面 地 介绍 了 循环 码 的 数学 原理 ,以 及 它们 的 移 位 寄 仔 器 电 路 的 实现 ,这 一 章 的 最 后 讨论 了 如 何 
利用 循环 码 纠 正 突 发 错误 。 而 新 版 的 第 9 章 与 原来 的 第 8 章 非 常 相似 ,只 是 对 Reed-Solomon 
笨 的 介绍 更 为 详尽 ,体现 了 它们 在 实际 应 用 中 的 重要 性 。 新 的 两 章 都 附加 了 几 十 道 习 题 。 


| {i Sew mere ‘+ SAE tooo 
' e. woe ee ae Min x x 1 l ? 
r. È Mai Api re 7 ` af cei ee 


了 路 


我 们 所 谓 的 通信 ,其 核心 问题 就 是 信息 的 传输 。 作 为 一 个 备 受 关注 的 领 咸 , 它 所 涉及 的 苍 
围 之 广 已 引起 了 哲学 家 们 的 关注 ,并 产生 了 一 门 茵 勃发 展 的 技术 学 科 。 

我 们 将 这 一 切 归功 于 香农 了 ,是 他 首先 认识 到 可 以 采用 一 种 系统 的 .有 规 可 循 的 方法 , 解 
决 信息 的 编码 ,传输 和 译 码 等 一 系列 问题 ;他 于 1948 年 发 表 的 经 典 论 文 , 标 志 着 数学 领域 一 个 
a ha Be TEE , . 

过 去 的 30 年 中 ,在 这 一 新 生 领 域 涌现 出 了 数量 惊人 的 著作 ,其 中 的 一 些 术语 甚至 已 经 成 
为 我 们 日 常用 语 的 一 部 分 - 

这 本 专著 (实际 上 是 两 本 专著 合 二 为 --) 系 统 全 面 地 介绍 了 通信 领域 的 两 个 方面 :编码 与 
传输 . 

第 一 个 方面 (本 书 第 二 部 分 的 主要 内 容 ) 是 代数 理论 的 力 与 美的 完美 例证 ;第 二 个 方面 则 
属于 概率 论 领域 ,由 香农 以 新 奇 而 独创 的 方式 的 开 序 类 。 


Mark Kac 
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1948 年 .Claude Shannon ' ( 9 R AKERA A Mathematical Theory of Commu- 
nicatiop” (通信 中 的 数学 理论 ) 的 引言 部 分 中 写 道 ; 
“ 通 悦 中 的 基本 问题 就 是 在 某 一 点 精确 或 近 亿 地 再 生 另 一 点 选择 的 信息 。 


为 解雇 这 一 问题 ,他 在 该 论文 中 提出 了 应 用 数学 的 一 个 全 新 分 文 , 瑰 在 称 之 为 信 息 理论 种/ 
或 编码 理论 。 本 书 的 目的 就 是 介绍 这 一 理论 提出 后 加 年 来 的 主要 成 果 。 

在 引言 这 一 章 , 将 通过 一 对 特殊 的 数学 模型 ,二 讲 制 对 称 信 源 和 二 诗 制 对 称 信道 ,来 介绍 
信息 理论 的 核心 思想 。 

二 进 制 对 称 信 源 (简称 信 源 ) 是 一 个 可 议 发 出 定义 为 “0" 和 "1" 的 两 种 特定 符号 的 实体 , 速 
率 为 单位 时 间 内 R 个 符号 。 我 们 称 这 些 符 号 为 比特 (bits)[ bits 是 binary digits( 二 进 制 数据 ) 的 
缩写 ]。 信 源 随机 地 发 出 这 些 比特 , “0” 和 "1” 的 发 出 概率 相同 。 仿 设 信 源 速率 R 是 连续 变化 
BY BD RR 可 以 是 性 何 非 负 的 数值 。 

二 进 制 对 称 信 道 { 简 称 BSC!) 是 一 个 在 单位 时 间 内 可 以 传输 1 比特 数据 的 实体 。 但 是 该 


信道 并 不 是 完全 可 靠 的 :存在 一 个 固定 的 概率 p( 称 为 原始 误 比 特 弟 F ) ,满足 D<P < 了 ,使 从 


出 比特 与 输入 比特 不 相同 ， 
现在 设想 有 两 个 人 ,一 个 是 发 送 者 , 嚼 一 个 是 接收 者 。 发 送 者 必须 使 接收 者 尽 可 能 准确 地 
接收 信 源 的 输出 ,而 他 们 之 间 惟 一 的 通信 和 链 路 就 是 前 面 描述 过 的 BSC( 但 是 在 启动 信 源 之 前 ， 
介 许 恬 送 者 和 接收 者 在 一 起 了 解 彼此 将 采用 的 数据 人 处 理 策略 )。 这 里 还 假设 发 送 者 和 接收 者 
都 可 以 无 任何 限制 地 利用 计算 能 力 .存储 容量 .政府 经 费 和 其 他 资源 。 
现在 要 问 ,对 于 给 定 的 一 个 信 源 速率 RR, 发 送 者 和 接收 者 之 间 通 过 BSC 的 通信 可 以 达到 
多 高 的 可 靠 度 ” 我 们 最 终 将 给 出 此 问题 的 一 个 非常 精确 的 通用 结论 ,但 现在 先 考虑 一 些 特例 。 
假设 R= 173, 这 意 昧 着 信道 传输 数据 的 速率 是 信 源 产生 数据 速率 的 三 倍 , 因 此 在 传输 之 
前 ,可 以 对 信 源 输出 的 每 一 比特 重复 编码 二 次。 例如 ,如 果 信 源 箱 出 的 前 五 个 比特 是 10100, 
编码 流 将 是 111000111000000。 对 应 每 个 信 源 比特 ,接收 者 将 收 到 三 个 比特 ,但 是 由 于 存在 信 
W“ ys" ,这 三 个 比特 可 能 不 完全 相同 。 如 果 信 道 干扰 了 传输 的 第 2、 第 5、 第 6、 第 12 和 第 13 
比特 ,接收 者 将 收 到 101011111001100。 稍 微 思 考 一 下 你 就 会 认为 ,此 时 接收 者 对 信 源 比特 进 
行 译 码 的 最 佳 策略 是 对 接收 的 三 个 比特 多 票 判 关 。 在 我 们 的 例子 中 ,这 样 译 出 的 接收 信息 是 
11100, 第 二 比特 出 现 了 一 个 错误 。 一 般 精 况 下 ,如 果 一 个 信 狂 比特 的 三 个 重复 编码 比特 中 有 
两 个 或 二 个 被 信道 干扰 了 ,接收 就 会 出 错 。 因 此 ,如 采用 P. 表示 误 比 特 率 ， 
P. = P (2 个 信道 错误 } + P {3 个 信道 错误 } 
=3p(l—p) +p (0.1) 
= 3p2 -2p 
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由 于 p 志方 ,这 个 值 一 般 比 原始 误 比特 率 p 小 ;这 种 简单 的 编码 策略 提高 了 信道 的 可 千 
度 ,并 且 p 值 越 小 ,提高 就 越 显著 。 

现在 很 容易 看 出 ,通过 对 每 个 比特 重复 编码 更 多 次 可 以 得 到 更 高 的 可 靠 度 。 因 此 如 果 
R= 11(2n+1), 其 中 5 为 正 整 数 , 则 在 传输 之 前 就 可 以 对 每 个 比特 重复 编码 2n + 1 次 (见习 
BL 0.2) ,并 且 采 用 前 面 所 到 的 多 票 判决 准则 译 码 。 现 在 很 容易 得 出 最 终 误 比特 率 POM? 的 


AR: 


2n-l] 
Pen+D = YO P {2n 十 1 个 传输 比特 中 有 上 个 信道 错误 } 


k= m+ 


— 


anil (7 十 | 


jw — př" (0.2) 


kon | 


_ ene nel 
=| 。 ， JPT 十 己 的 高 次 项 


如 果 n > 1, 该 值 随 着 p-*0 而 赵 近 于 0 的 速度 要 比 前 面 考虑 的 n = 1 的 特殊 情况 快 ”。 因 此 就 
很 容易 理解 ,为 什么 长 重复 序列 比 短 重复 序列 更 有 效 。 这 里 需要 进一步 强调 的 是 ,对 于 原始 误 


比特 率 p < 也 的 固定 BSC, 当 n> o i}, P2 2-*0, 即 通过 这 些 重复 编码 方式 ,可 以 使 信道 达到 

FAR AQT REE, WA PO? 的 公式 (0.2) 最 终 可 以 得 出 这 样 的 结论 。 但 也 可 以 换 一 种 方式 ， 

RAB Ka mO 来 进行 分 析 ,如 果 在 信道 中 传输 六 个 比特 , 则 对 于 任意 >0, 有 : 
m ?| 信道 错误 的 数目 p|>eh =o 


N 
也 就 是 说 ,只 要 N 的 取 值 足够 大 ,接收 比特 中 出 错 的 比例 就 不 可 能 与 p 相差 很 多 。 因 此 本 以 
对 pS? 做 如 下 估计 : 


Port) — P] 接收 的 传输 比 竺 中 出 鲁 的 比 人 


(0.3) 








n + | l ] | 
== 三 一 十 一 一 一 一 一 
2n+l1 2 4n+2 
< P{ 比 例 >i) 
= P{| 比 例 一 pl>>1 一 p} 


报 据 式 (0.3) , 当 not, Per? 确实 趋 近 于 0。 我 们 由 此 得 出 结论 :如 果 R 的 值 很 小 ,即使 
言 道 本 身 的 噪声 福 大 ,也 可 以 使 最 终 的 错误 概率 很 小 。 这 个 结论 当然 并 不 奇怪 。 

以 上 讨论 的 都 是 速率 小 于 1 的 情况 。 当 速率 大 于 1 时 情况 会 怎么 样 呢 ? 在 这 种 条 件 下 ， 
通信 的 可 靠 度 又 如 何 ? 

如 果 R > |, 不妨 只 传输 信 源 比特 的 1/ 员 部 分 ,并 让 接收 者 以 挑 硬币 的 方式 猪 测 其 余 的 部 
分 。 很 容易 计算 出 这 种 简单 方式 的 最 终 误 比 特 率 为 : 


中 ”在 附录 各 中 讨论 。 


oie! 











P -Lx pp i y) 
Í R | R 2 (0.4) 
=3— (3— p)/R 


现在 以 R=3 为 例 , 来 介绍 另外 一 种 当 民 >1 时 可 以 采用 的 略 有 创意 的 方式 。 如 时 R = 3, 
言 道 只 能 传输 信和 源 所 产生 比特 的 三 分 之 一 。 因 此 发 送 者 将 信 源 输出 分 为 三 比特 一 组 ,并 且 只 
传输 这 三 比特 中 占 多 数 的 比特 。 倒 如 ,如 果 信 源 输 出 101110101000101 ,发送 者 将 在 信道 中 传 
输 11101。 接 收 者 只 需 将 收 到 的 每 个 比特 重复 三 次 。 此 时 如 果 信 道 于 扰 了 传输 的 第 二 个 比 
特 , 接 收 者 将 收 到 10101, 并 扩展 为 111000111000111, 于 是 就 产生 了 五 比特 的 错误 。 一般 情 议 
下 ,最终 的 误 比 特 率 为 ; 
P, =4X (1 -= p) +4X p 


“ta pp (0.5) 


4: FX PERLE aT BI R = 3 时 ,通过 “ 抛 硬币 ”方式 得 由 fy + p3 Eho 4 R RAR: fb 


的 整数 值 时 ,采用 该 方式 的 通用 结论 作为 习题 (见习 题 0.4) 留 给 读者 推导 。 
到 目前 为 止 我 们 所 考虑 的 方式 都 是 微不足道 的 ,当然 也 并 非 毫 无 意义 。 现 在 介 细 一 个 更 
重要 的 例子 ,事实 上 在 1948 年 以 前 人 们 对 这 种 方式 还 车 无 了 解 。 
这 里 假设 R = 4/7, 即 对 于 信 源 产生 的 每 四 个 比特 ,信道 都 有 时 间 再 传输 三 个 附加 比特 。 
我 们 仔细 地 选择 这 些 附 加 比特 :如 果 四 个 信 源 比特 表示 为 xo，xi，*x*;，%;, 则 附加 或 者 元 余 ( 或 
者 奇 惕 校 验 ) 比 特 表示 为 x,，x;，xs ,它们 由 下 列 等 式 确定 : 
Xx4 三 XI 十 加 十 X33 (mod2) 
xs = xa + xz + X: (mod2) (0.6) 
X = xo +x + x, (mod2) 
举例 说 明 , 如 果 (xo， x, xb, x3) = (0110), WC xs, zs, x6) = 《011) ,而 信道 将 传输 的 全 部 七 比 
特 码 字 为 0110011。 
为 了 说 明 接 收 者 如 何 通过 被 干扰 了 的 七 比特 码 字 估计 四 个 信 源 比特 , 即 描 述 他 的 译 码 其 
法 ,我 们 按照 下 面 的 方式 重 写 奇 个 校 验 式 40.6): 


Xj + X; + X4 + Xa = Ü 
Xo + X> + X3 + Xs = Ü (0.7) 
Xo + Xi + X3 + x = 9 


[ 式 (0.7) 中 采用 的 也 是 模 2 6 JPR TS oR, SORE OE H 29: 


0 1 1 1 1 0 0 
1 00 l 1 0 t Ü 
1 10 10 0 1 


H = 





则 我 们 看 到 16 个 可 能 的 码 字 NX = Í xn, Mp, Xas Xa, Mga Äg, xs 都 满足 矩阵 -矢量 方程 ， 


Ú 
Hx! = | 0 (0.8) 
Ü 


[ 式 (0.8) 中 .上 角 标 TAR RE o | 
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可 以 设想 BSC 对 传输 的 每 -比特 加 (村 2)0 或 者 1, AO 表示 这 一 比特 接收 时 没有 第 谋 , 加 
1 则 袁 示 有 错误 。 因 此 如 果 传 输 的 是 X= (ay. xc. xg) UR KEE y= (x, + zo, a + 
noes 二 2) 其 中 如 果 信 道 在 传输 的 第 让 比特 产生 了 一 个 错误 , 则 z= 1, 否 则 z =0。 因 
i AK tala, at, 2) 定 电 为 错误 转业, 则 y=X+z。 
接收 者 接收 到 时 希望 确定 x, 为 此 他 将 计算 下 面 的 矢量 $=《so，9 so}: 
s = Hy? 
= Ha +r) 
sAr aN (0.9) 
= Hz’ [ 见 式 (0.8)] 


这 里 s 称 为 了 的 伴随 式 回 (syndrome)。 伴 随 式 中 的 一 个 0 分 量 表示 y 满足 相应 的 育 候 核验 方 
程 , 面 1 分 量 则 表示 不 满足 。 根 据 式 (0.9) ,伴随 式 不 依赖 于 发 送 的 码 字 ,而 只 与 错误 图 案 z 有 
$, 但 是 由 于 x=y+z, 如 果 接 收 者 找到 了 z, 也 就 知道 了 x, 因 此 译 码 问题 的 重点 是 寻找 ze 
等 式 s7 = Hz 表明 ,sr 是 与 了 中 1 分量 相 对 应 的 旺 答 阵 中 列 矢量 的 (二 进 制 ) 和 ,而 z 中 1 分 


量 对 应 的 比特 是 被 信道 干扰 的 : 
0 ! 0 
1} +2) nr (0.10) 
] | I 


接收 者 的 任务 是 ,一 品 计 算出 s, 就 通过 方程 式 s = Hz “求解 "*z。 遗 憾 的 是 ,这 里 只 有 三 个 方 
程 却 有 上 七 个 未 短 量 ,因此 对应 任 一 s, 总 有 16 个 可 能 的 z。 这 显然 已 经 是 一 个 进步 了 ,因为 z 本 
来 有 128 种 可 能 的 取 值 ,但 是 接收 者 如 何在 剩 下 的 16 个 值 中 进行 选择 昵 ? 例如 ,假设 接收 到 
y= (0111001), J s= (101) 2 AY 16 PELE 





610 0 0 0 0 0010 0 1 1 
i 100 0 1 1 0 0 0 1 0 1 0 
0 0 0 0 1 Q l 0 1 1 1 0 Ü l 
0 1 1 0 1 1 Ü i 0 1 0 0 0 0 
0 1 0 1 1 1 |] II0 0 1 0 Ü |! 
1 0 0 0 1 1 Ü Il ! 1 0 ] 0 
i 1 10 1 0 ] 0 0 1 1 21 0 0 
| | 0 11 1 0 Ü 1 0 1 1 1 1 | 


面 对 这 样 一 组 可 能 的 错误 图 案 ,显而易见 的 是 :由 于 原始 的 误 比 特 率 p < 2 ,错误 图 案 包含 的 ! 


的 个 数 (错误 ) 越 少 ,就 越 有 可 能 是 实际 的 错误 图 案 。 在 这 个 例子 中 ,幸运 的 是 ,重量 最 小 的 销 
i S (0100000) RA 一 个 ,这 里 的 重量 代表 错误 图 案 中 1 的 个 数 。 此 时 接收 者 对 z 的 最 佳 们 
计 ( 同 时 依据 伴随 式 和 信道 统计 特性 ) 是 z = (0100000); 对 传输 码 字 的 估计 是 x=y+%= 
(0011001) ; 面 最 终 对 四 个 信 源 比特 的 佑 计 是 40011)。 

当然 在 上 面 的 例子 中 也 并 不 是 真正 的 幸运 ,因为 可 以 看 到 对 于 任意 伴随 式 s, HHT = 
sr 总 是 存在 重量 为 0 或 1 的 惟一 解 。 比如, 如果 s= (000) , 则 期 望 的 结果 是 2=《0000000)。 但 
是 如 果 sz(000) , 则 s7 必然 作为 吾 的 某 一 列 出 现 ; 如 果 s” = H 00585; 列 , 则 第 i 位 为 1 其 余 位 
都 为 0 的 错误 图 案 z 是 Hz =s 的 惟一 最 小 重量 解 。 


ee d l 1 
` T" = tie erm E: bea Ae + 1. 
ee ae TE ada | 











4 
nip 


9 


现在 可 以 总 结 一 下 称 之 为 (7,4) 汉 明码 的 译 码 算 法 。 给 定 接收 矢量 y, 接 收 者 将 执行 下 列 
Pm, 
. 计算 伴随 式 s = Ay’. 
.如果 s=0, 2S 2-0; 44, 
. 寻找 五 中 惟一 与 8 相同 的 列 , 称 它 为 第 i 列 , 并 设置 名 的 第 i 位 等 于 1, 其 余 位 都 为 0。 
WB R y+ 名 {这 是 接收 者 对 传输 码 字 的 估计 ,) 
, 输出 各 的 前 四 个 分 量 (名 ,2 ,4%;,43)。( 这 是 降 码 器 对 原始 信 源 比特 的 估计 .) 


按照 这 种 算法 产生 的 矢量 这 有 可 能 与 实际 的 错误 玛 案 z 不同: 但 是 如 果 情 道 最 禾 只 产生 一 个 
错误 , 即 如 果 z 的 重量 是 0 或 者 1, 则 根据 上 面 的 讨论 有 多 = z。 因 此 汉 明 码 是 纠正 单个 错误 
码 。 事 实 上 很 容易 看 到 , 当 且 仅 当 信道 产生 两 个 或 更 多 错误 时 ,按照 上 面 的 译 码 算法 才 不 能 正 
确 译 出 原始 码 字 x。 因此 ,如 时 P, ea PRA P {Rx}, 


一 『7 
Pe= Y ` Z: — pt 


k=2 


ih j 5 FPF2 = 


= 21 p° — 70p° + ete 
当然 误 组 率 P, 3 ABUL SOL, A Rx, 8 POE eT gË E IE BB. WU 
果 用 PO ERRER P| ox, | , 则 对 于 所 有 的 0<i<6, 可 以 证 明 : 
PP = 9p2(1 — př + 19p*(t — py + 16p"(1 — py 
+ 12p*(1 ~ py + 7p°(1 — p) + p (0.11) 
= 9p" — 26p` + etc 
将 该 式 与 式 (0.1) 比 较 , 会 发 现 对 于 原始 错误 概率 很 小 的 BSC, 汉 明码 在 速率 为 417 = 0.571 时 
的 性 能 ,与 简单 重复 编码 方式 在 速率 为 13 =0.333 时 的 性 能 近似 。 
也 可 以 通过 互 换 (7,4) 汉 表 码 中 发 送 者 和 接收 者 的 规则 来 进行 R = 7/4 的 通信 。 这 时 发 送 
者 将 信 源 序列 分 为 七 比特 一 组 ,通过 前 面 的 译 码 算法 (在 此 变 为 “编码 算法 ”) 将 每 组 七 比特 减 
少 到 每 组 四 比特 ,并 在 信道 中 传输 这 四 比特 。 接 收 者 译 码 时 利用 接收 到 的 四 比特 ,通过 运算 奇 
偶 校 验 式 (0.6) 产 生 附 加 的 三 比特 。 这 种 方式 最 终 的 误 比 特 率 P = Pit, = x |£ i AK, 


是 平均 的 已 = (> PO): 


8 


= | 3 + etc 
8 3g? 


对 于 无 噪声 (p = 0) BSC, 这 个 结果 的 性 能 更 为 优越 ,例如 R = 7/4 BF, (0.4) 25 tH hy “pa 8: 
币 "方式 的 P, =$ = 0.214. 


现在 通过 一 个 特定 的 BSC 总 结 一 下 所 T BY ALIA. 给 定 P = 0.1, 12 x = R 表示 速率 ， 
-P ERRARE E, 对 前 面 讨论 的 每 一 种 通信 模式 在 (*，y) 平 面 上 画 出 一 个 所 ,如 
图 0.1 所 示 。 如 果 有 足够 的 耐心 和 智慧 ,可 以 继续 提出 一 些 特 殊 的 方式 ,并 在 图 0.1 PR 


l 53 59 7 
p= -0 -př + ŽU — přp +30- pp + (1 pp +op 
Bo. ~ (0.12) 
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明 。 当 然 我 们 的 最 终 目标 是 希望 了 解 哪 些 点 能 够 达到 而 哪些 点 不 能 达到 。 令 人 难以 置信 和 的 
是 ,香农 已 经 实现 了 这 个 目标 。 但 在 给 出 香农 的 结论 之 前 ,先进 一 步 明 确 一 下 速率 为 R 的 编 
码 方式 以 及 相应 误 比 特 率 P, 的 概念 。 


0.5 








” R= TAR 
0.2 


Ü 


图 0.1 对 应 BSC(p =0.1 的 一 些 可 达到 的 { R. PLR 


如 图 0.2 所 示 ,一 个 (n, 太 ) 码 的 方案 是 首先 将 信 源 序列 划分 为 比特 一 组 ,而 每 个 比特 
的 信 源 分 组 u 再 变换 {编码} 为 一 个 n 比特 的 码 字 x, 并 通过 信道 传输 , 则 接收 到 的 可 能 是 受 了 
干扰 的 y。 译 码 器 将 这 个 n 比特 带 噪声 的 码 字 变换 为 一 全 正比 特 的 分 组 y, 作 为 对 原始 信 源 序 
列 盏 的 估 讨 。 这 个 通信 系统 的 速率 为 R= kin; 误 比特 率 定 义 为 ; 


j=! 


其 中 ， 
pÜ = P luu), i=1,2 k 
WI x 
(Capen) RE |= (ass ao 
¥ 


¥ 
图 0.2 对 应 二 进 制 对 称 信 源 和 BSC TC, kas 


(可 以 立即 看 出 ,可 能 际 了 R=1 的 “ 抛 硬币 ”方式 ,前 面 介绍 的 每 一 种 方式 都 符合 这 一 描述 ; 见 
习题 0.5,) 如 果 存 在 一 个 (n, 上) 码 满足 kinx, P. y WHO. 1 中 的 点 (x ,x) 是 “可 达到 
的 。 对 应 特殊 的 BSC(p = 0.1), 0.3 中 显示 了 所 有 人 能够 达到 的 点 的 集合 。 当 然 问题 的 关键 











引 


am 


7 
是 要 了 解 图 0 了 中 可 达到 与 不 可 达到 区 域 之 间 界 线 的 描述 。 为 了 给 出 这 个 描述 ,需要 介绍 重 
$Ë BJ jkt +) 168 eee SE , 
Haa = —x logs x — (1 — x)log2(] — x), Qeri 
H,(0) = Hz} = 0 


D4 


(0.13) 


0.4 


ee ie 
= 
L.J 





图 0.3 对 应 一 进 制 对 称 信 源 和 BSC( p = 0.1) 的 可 达到 的 { R. P 


y= H,(x) 的 曲线 由 图 0.4 给 出 {在 习题 0.10 中 介绍 了 束 (2z) 的 一 些 重 区 性 质 )。 现 在 可 以 描 
述 图 0.3 中 可 达到 与 不 可 达到 区 域 之 间 的 界线 了 。 界 线 中 的 曲线 部 分 是 满 忠 下 式 的 
SCR, PRR: 
_ 1 — H2(0.1) 
t 一 HP) 
剩余 的 界线 是 RPMS. M R= 0 #j| R=1- H,(0.1) =0.531。 对 于 一 般 的 BSC, 结 论 是 
相同 的 ,只 是 式 (0.14) 被 下 式 代替 : 





06 P, <i (0.14) 


加 1 一 H(p) 
R= pp, HAP) (0.15) 


3¢- Fa R BRS E A R= 0B) R=1- Aip), WE 0.5 所 示 。 





图 0.4 ide el ae a 
从 图 0.3 和 图 0.5 中 可 以 得 出 许多 重要 结论 。 但 最 重要 的 是 ,如 果 尺 <1- H(p) WE 
何 正 值 的 P. ,不 论 取 值 多 么 小 ,都 是 可 达到 的 1 例如 ,如 果 p = 0.1, RA 0.3, 应 该 存在 一 个 
速率 -0 .5 的 码 , 其 最 终 的 误 码 率 < 10°) 这 个 重要 的 数值 1 - 8,(p) 称 为 信道 的 容量 ;图 0.5 
的 特 列 含义 称 为 信道 编码 定理 。 这 个 定理 表明 当 速 率 低 于 信道 容量 时 ,任意 可 靠 的 通信 都 必 可 
能 的 。( 与 我 们 前 面 的 结论 做 比较 ,这 证 明了 通过 重复 编码 , 随 着 RO, P, 可 以 同样 趋 近 于 0。) 
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TEAR a 


| 


i 2 














R— = 
图 0.5 对 应 二 进 制 对 称 信 源 和 一 般 BSC ERAR, P A 

不 夸张 地 讲 , 本 书 的 全 部 内 容 就 是 研究 图 0.5 及 其 推广 形式 。 第 一 部 分 将 通过 证 明 来 描 

述 一 大 类 “ 信 源 -信道 "对 的 名 达到 区 域 ( 相 关内 容 见 第 5 章 , 建 议 读者 尽快 浏览 一 下 )。 担 是 

这 些 证 明 从 基 种 程度 上 来 讲 并 不 完善 ,因为 它们 只 断言 存在 ,并 没有 有 精确 描述 具体 的 码 。 这 个 
问题 将 会 在 第 二 部 分 中 得 到 部 分 解 次 , 那 时 将 详细 介绍 一 些 重要 的 实用 码 。 


习题 


0.1 解释 一下 为 什么 关于 BSC 原始 误 比特 率 0<p< 记 的 假设 实质 上 是 不 失 一 般 性 的 。 


0.2 设 R=1/2n,n 为 某 个 整数 。 为 了 在 BSC 中 通信 ,考虑 一 个 “每 比特 重复 2n 次 "的 方案 。 
(a) 设计 一 个 合适 的 译 码 方法 ,并 计算 出 最 终 的 误 比特 率 P, 。 
(b) 证 明 在 (a) 中 得 到 的 结果 与 式 (0.2) 中 员 = 1/(2n -1) 时 采用 重复 编码 方案 的 绪 采 完 

全 相同 。 

0.3 证 明 式 (0.5)。 

0.4 设 R=2n+1,n 为 某 个 整数 。 类 似 于 交 中 所 述 的 下 =3 的 方案 ,考虑 一 个 发送 2n + l 
个 相 邻 信 源 比特 的 多 票 判决 结果 "的 方案 。 
(a) 证 明 P. =(1-p)O+p(l-@),2#, 


o = 3 _ 人 
(bh) 证 明 R =2n 时 采用 类 似 的 方案 将 得 到 完全 相同 的 P, 值 。 
0.5 假设 R>1 R R 是 有 理 数 。 说 明 如 何 将 文中 合 焰 的 “ 抛 硬币 "方案 转换 为 图 0.2 中 的 (nr ,上 ) 
码 形 式 。 然 后 证 明 最 终 的 误 比 特 率 P. 为 式 (0.4)。 
0.6 将 下 列 失 量 译 码 ,假设 它们 是 六 =47 汉 明 码 的 “ 晓 声 "样本 :1100000,1010101 ,0111100。 
0.7 将 下 列 矢 量 译 码 ,假设 它们 是 员 =714 汉 明码 的 " 品 声 "竹本 :1010,0001,0II1。 
0.8 证 明 式 (0.11)。 
0.9 证 明 式 (0.12)。 








引 


qu 
TO 


0.10 HEAR FAC. 13) HEA J BE] RB Pq H G RA WR MENE : 
(a) Hi(x) = log (1 -xxs 
(b) A(x) = -[x(1- x)kbog2] !, 


(c) H,(x)= 1, SM AAW 2 = 


1 
9 B 


(d) HCx) 20, lim, wi H lx) = 0. 
(e) H,(x) = B,(1— x) 

0.11 将 可 达到 与 不 可 达到 区 域 的 边界 记 为 B(R), 对 所 有 员 关 0, 它 存在 连续 的 导数 吗 ? 计算 
limy. B(R), 并 用 通信 术语 解释 你 的 结果 。 


注释 


[1] 


香农 于 1916 £ 4 H 30 HE TS SRM ERE. BT eR K =F Ha, T 
工程 和 数学 系 ,于 1936 年 获得 理学 学 七 学 位 。1940 年 在 麻 省 理工 学 院 菊 博士 学 位 ， 
后 又 在 普林斯顿 大 学 进修 了 一 年 。 之 后 ,加 和 人 了 新 泽 西 州 普林斯顿 的 贝尔 电话 实验 
室 技 术 部 ，。 

1941 年 ,在 其 种 程度 上 出 于 战事 的 需要 ,香农 对 通信 问题 开始 了 这 信 的 研究 ,并 汇 
Be PSE ASR J- 1948 年 发 表 了 名 为 "A Mathematical Theory of Communication” (iH 
信 中 的 数学 理论 ) 的 论文 (这 篇 论文 在 文献 [25] 中 被 全 部 重新 收录 …) 

伴随 着 许多 深奥 的 科学 发 现 { 例 如 1905 年 爱 因 斯 坦 提出 狭义 相对 论 ), 现 在 看 来 当 
时 产生 科学 突破 的 时 机 已 经 成 就 了 。 但 在 通信 理论 领域 却 并 非 如 此 。 虽 然 在 20 地 
纪 40 年 代 香 农 的 工作 并 非 与 世 降 绝 ,但 是 他 的 理论 却 非 溃 独 桂 一 根 , 以 至 于 当时 的 
通信 专家 都 无 法 立即 接受 。 但 是 随 着 他 的 定理 秋 渐 被 数学 /工程 界 认 可 ,他 的 研 宅 
也 和 逐渐 分 立 为 一 门 血 新 的 学 科 ,并 有 更 客 的 人 开始 跻身 这 一 领域 . 起 初 发 展 得 较 组 
慢 ,但 后 来 这 个 学 科 发 展 得 越 来 越 快 , ESME HERMA LA fs Be ie x 
ARE 1948 年 发 表 的 论文 ,被 认为 是 独 一 无 二 的 信息 论 之 父 。 除 此 之 外 ,他 还 被 
评 为 1948 年 以 后 对 此 领域 做 出 最 大 页 献 的 人 ! HAAR A Mathematical Theory of 
Communication 论文 以 来 ,他 的 每 篇 论文 几乎 邦 可 以 构成 其 他 人 科 赋 思想 的 无 众 课 
i. [例如 ,在 1973 年 信息 论 方面 的 重要 论文 集中 (参见 文献 [25]) ,引用 的 49 fale 
文 里 ,有 12 篇 的 作者 或 合作 者 是 香农 。 而 其 他 作者 出 现 的 次 数 均 不 超过 三 次 。] 
在 加 利 福 尼 亚 衬 杉 机 ,地 区 信道 和 2(KBSC) 是 二 进 制 对 称 信道 。 

有 时 p 也 称 为 BSC 的 转移 概率 或 交叉 概率 。 


P, 公式 的 推导 需要 进一步 说 明 。 二 项 式 系数 ( | CN "Pid Kean 7S RAN 


个 物体 的 集合 中 选 出 下 个 物体 的 方法 数 。 它 的 数值 等 ONO - 10 N - 2): ( N- 
Kt/KCK -1)…2-1。( 要 耳 解 二 项 式 系 数 的 于 多 性 质 ,参见 Knuth 7], 1#.) 


ont 
所 以 在 传输 的 2n + 1 个 比特 中 ,信道 刚好 产生 个 错误 的 不 同方 式 有 | ° + EZ 





LS] 
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每 种 方式 发 生 的 概率 为 p° (1 pyr ed” jpr(1 = pst KAS 
的 2n +l SRE tS Re aA k SAE RUINS 
在 更 文 的 医学 用 场 中 syndrome 证 状 ) 一 词 是 指 symptom CPPS ) BY Fe BIE zÉ , By LAW 
来 帮助 医生 诊断 disease( Fy). 在 这 里 “disease "是 指 错误 图 案 “symptom” 是 指 奇 侦 
校 验 和 失败。 这 个 恰当 的 名 称 是 由 Hagelbarger H roii HHE. 





Bibs 信 A 论 


78 8 Fe ew ee 
QN vA E w Ne 


“fae fd jd ty ice is 


Wi Fo BAZ 8: E 

离散 无 记忆 信道 及 其 容量 -代价 函数 
离散 无 记忆 和信 源 及 其 率 失 真 函 数 
高 斯 信道 和 人 迟 滨 

信 源 -信道 编码 定理 

第 一 部 分 前 沿 课 题 综述 


—— 








第 1 全 Aaa 


1.1 离散 随机 变量 


假设 X 吓 一 个 离散 随机 变量 ， HI] E p3 ETH yE El R= E? ,4 是 有 限 或 可 数 的 。 设 
p. = PiX=x.|( 关 于 概率 论 术语 请 参考 附录 A). X AVE: 
l 
H(X) = ) Pi log- (1.1) 
i=] ! 


对 该 定义 需要 给 予 进 一 步 的 说 明 - 首先 ,对 数 运 算 的 基底 有 意 未 做 明确 规定 。 但 是 如 果 有 必 查 ， 
可 以 将 以 2 SRIRAM RA OW, OX) ,并 称 守 的 入 的 单位 以 二 为 基 展 。 例 如 ,以 2 为 基底 的 单 
位 称 为 hits(binar digits), MLA e 为 基底 的 单位 称 为 nate (natural digits)。 其 次 ,如 果 p. = 0, 
式 (1.1) 中 plogp' 项 的 值 是 不 确定 的 ;但 是 我 们 规定 它 为 0. (这 个 规定 并 不 是 随意 给 出 的 , 见 
习题 1.1.) 最 后 ,如 果 R 是 无 限 的 ,和 式 (1.1) 有 可 能 不 收 敏 ,在 这 种 情况 下 设 定 H(X)= + %。 

例 1.1 设 才 表示 一 个 质地 均匀 的 朋 子 单 次 多 出 的 数字 。 则 R= i1,2,3,4,5,6| ,并 且 对 应 所 


有 的 记忆 = 到。 因此 H(X) =log6= 2.58 bits = 1.79 natsa 


例 1.2 @R={0,1), 422 X3p8⁄ PiX=0 =p, P|\X=1}=1-p. NH) H( X) = - plop ~ 
(1-—p)logz(1- p), 3 B H.(X)4E2 Ox p= 1 H—- PBA, 5 = (0.13) PRR HBAS 
Re HH,(p) 相 同 。 后 面 会 经 常用 H( p) T BSR — plogp — (1 — p)log(1 — p )( 3t PRE 
FOR RAWAM) ATAA BHR, A 1.1 22 h T 69 b 28 (yh 3k B] 0.4)。 更 一 
最 地 ,如 果 p= (p. , U, p PLE EMBER, p0 HH > p,=1,H £ X. H(p) = 
Hpo posts p= > plop 。 这 种 表示 方法 有 时 并 不 兼容 ,因为 对 于 r=2, 我 们 有 
Hlp, 1-p)= HH(p)。( 因 此 用 符号 H A+ Z= +£ Z AB F] 6938.8: HAARLE E X 
HA Hlp) = ~ plogp - (1 - pyog(1- p), HP O0zgzp=1;m3e 3 p#t — 83 XE. WU H(p, 


Pas p.) = >: Pp:logp, =) 





图 1.1 | PRR H(p) 
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例 1.3 HRPA >) ， {nlogn) 表示 为 A, MELMMARE X ARPIX =v! = 
(Anlog n) ,其 中 天 =2,3,…', 则 有 AUX) = + %( 见 习题 1.2)。 
Ay ik S HA EEF OX ñ F $| BE BJ —#pHE E. : 


(a) 通过 观测 了 所 获得 的 “信息 的 数量 。 
(b) 关于 OX “ASE” - 
(e) X AY“ RAALEE” , 


fE 0 USF HARE RMA BREE REAR SS LHX) 
确实 也 是 这 些 量 在 严格 的 数学 意义 上 的 度量 。 当 然 可 能 有 许多 关于 随机 变量 X HRR, [Al 
具有 下 面 讨 论 的 这 些 性 质 ,但 是 只 有 HH(X) 将 用 于 研究 通信 问题 。 

对 于 任意 xO RES Max) = -lhgP|X= xi。 则 了 是 一 个 新 的 随机 变量 ,并 且 AEE 
的 平均 值 。 函 数 T(x)( 见 图 1.2)? 可 以 理解 为 由 事件 1 工 = xi 所 提供 的 信息 的 数量 。 由 这 个 解 
释 可 知 , 事 件 发 生 的 可 能 性 越 小 , 它 发 生 时 获得 的 信息 就 会 越 和 多 。 确 定 事 件 { 发 生 的 概率 为 1) 
不 提供 信息 ,而 不 可 能 事件 提供 非常 大 的 信息 量 。 例 如 ,假设 你 拜访 一 位 预言 家 ,他 对 任 令 问 
题 愉 回答 “是 "或 者 " 否 ”。 如 果 你 问 “ 我 会 活 到 125 岁 吗 "而 得 到 一 个 “ 否 " 的 回答 , 则 将 获得 非 
党 少 的 信息 ,因为 如 此 长 寿 是 不 太 可 能 的 。 相 反 ,如果 你 得 到 一 个 “是 ”的 回答 , 则 将 获得 很 多 
的 信息 。 如 果 现 在 有 数 百 万 人 拜访 这 位 预言 家 , 问 相 同 的 问题 ,那么 大 多 数 人 将 得 到 “ 否 " 的 回 
答 ,而 极 少 数 人 会 得 到 “是 ”的 回答 ,并且 获得 的 信息 量 的 平均 值 将 是 H{p), 其 中 p = Pi 死亡 年 
龄 二 1251。 此 外 ,在 得 到 这 位 预言 家 的 回答 之 前 ,你 可 能 并 不 很 好 奇 ; 这 反映 了 这 样 一 个 事实 ， 
即 这 个 回答 只 有 少许 的 不 确定 性 。H(p) 是 该 不 确定 性 的 一 个 度量 1。 最 后 ,如 果 让 一 个 毫 无 
偏见 的 人 口 普查 人 员 来 记录 这 位 预 首 家 的 回答 ,他 会 觉得 非常 无 聊 , 并 可 能 开始 怀疑 这 位 现 宦 
家 是 一 个 只 会 回答 “和 否 "的 机 器 。 这 反映 了 代表 预言 家 答案 的 随机 变量 在 并 不 是 很 随机 。 而 
H( p) FE 工 随 机 性 的 度量 。 


f(x) 


l 
P{X=x} 一 一 


图 1.2 请 数 I(x} 


Mee yp S Khh3 nipi EM X 38 PlX=0 =PiX=l|=. MMo)=K1)= 
H(X) = log? =1 bit, 邑 通过 观察 “比特 "X 履 得 了 1 比特 "的 信息 量 。 

我 们 的 第 一 个 定理 讨论 的 是 在 定义 域 R LHA) 可 能 的 最 大 值 。 

定理 1.1 jt X OZ X. 38. R = | Maa" x, | ARIE, tO HU X) logre 当 且 仅 当 对 于 

某 信 ip,=1 at, HC X) =0;3 EASA FAA ip, =r Bt, H(X) = logr. 

证 明 : 罗 为 所 有 的 p. 都 过 1, 式 (1.1) 中 的 每 一 项 p,logp; ASO, PTR HA) 20. 并 且 由 


1 j "` 
"We EB Zl: NT NEST 3 
EA ge i 4 : Pay p tk. f, 





第 ] = Wi Ho GETS a 15 


Tš BE p=0X 1H, plogp  =0, P V 5 ER ¥ p -0% 1, HHS H RK 5 — 4 
Pp; 二 1, 而 其 余 的 都 为 0 时 ,H(X) = 0. 
现在 根据 Jensen 不 等 式 ( 见 附录 B), 因 为 logx 是 严格 上 凸 门 的 , 故 

H(X) = s piog < log) p= = log > 


i=] i=] 
当 且 仅 当 p 为 独立 于 i 的 常数 , 妈 对 于 所 有 的 i,p, = l/r LARS 


不 严格 地 讲 , 定 理 1.1 说 明 均 匀 分 布 的 随机 变量 为 最 "随机 ”的 一 类 随机 变量 。 而 严格 地 
H, EEH TIHE p= (pi,…,p,) 是 取 值 满足 1p, >0, >) p, =1| 的 r-1 维 变量 , 则 只 有 当 p= 
(l/r, Ir, ，17r DET, pe HÈ Pis paso; p, EIRA logro 
下 面 要 定义 的 是 ,对 于 一 对 咕 机 变量 Y ALY H( XI YRD E Y PPX BRA AT 
表达 得 更 简洁 ,我 们 引 人 一 些 简明 表示 方法 。 设 x 是 二 定义 域 中 的 一 个 值 ,y 是 Y 定 义 域 中 的 
-PH EX: 
pix) = P{X = x] 
ply) = P{Y = y) 
pa, y) = PAX =x, Y = y) (1.2) 
p(x|y) = P{X = x|Y = y) = p(x, y)/ p(y) 
p(v|x) = PLY = WX = x) = plx, y)/ p(x) 
(这 种 表示 方法 偶尔 会 有 歧义 性 ,因此 如 果 必 要 可 以 加 上 适当 的 下 角 标 ,例如 ,py (x), prx (Yl1x)。 
但 是 只 有 当 字 母 x,y 被 赋予 实际 数值 时 , 才 需 要 这 样 懂 ; 见 例 1.6o) 我 们 的 定义 是 : 


| 
H(XIY) = Flog PE 





(1.3) 
= = 2, Pes y) log—— a 
[在 式 (1.3) 中 遵循 了 和 和 式 (1.1) 中 的 相关 规定 ;0log0" = 0; 如果 该 和 式 不 收 伍 ,就 意味 着 
HOX(Y) = + wj] 现 在 通过 一 个 称 为 离散 无 记忆 信道 (DMC) 的 简单 通信 信道 模型 ,来 进一步 
TRATE, 
DMC( 见 图 1 .3) 在 单位 时 间 内 接收 个 可 能 输入 符号 中 的 茶 一 个 符号 ,并 相应 地 输出 s 个 
可 能 输出 符号 中 的 某 一 个 符号 {信道 “离散 "是 指 输入 和 输出 符号 的 个 数 都 是 有 限 的 ,“ 无 记 
忆 " 是 因为 输出 只 与 当时 的 输 人 有 关 ,而 与 任何 以 前 的 输入 都 无 关 )。 输 人 和 输出 符号 的 精确 
描述 并 不是 很 重 槛 ,但 一 般 习 惯 于 用 10,1,…,r- 1 和 10,1,…,s- 1 表示 输 人 和 输出 符 
PE, 





16 信息 论 与 篇 三 理论 (第 二 版 ) 


信道 的 输出 并 不 是 输入 的 确定 函数 ,信道 的 特性 取决 于 一 个 r x s 阶 转移 概率 分 布 [p(y1x)] 
生 阵 。ptyix) 表 示 给 定 输入 x ,输出 Y WES. IER pty1x) 的 值 必须 满足 : 
po = 0 对 于 所 有 的 x y 
S Po = 1 对 于 所 有 的 x 
F 


“4 + 和 s 的 数值 不 是 很 大 时 ,DMC 可 以 用 图 1.4 中 的 图 示 法 描述 。 在 这 种 图 示 中 ,通过 标 以 
pfylz) 值 的 一 条 直线 连接 每 一 对 满足 pty1x)>0 的 (x,*Y)。 


输入 输出 
Ë | 
br piya) 


图 1.4 DMC 的 另外 一 种 描述 
例 1.4 (二 进 制 对 称 和 信道 ,已 在 引言 中 讨论 过 ,这 里 r=s=2, 图 示 如 下 ; 


例 1.5 (二 进 制 删 除 信道 .) 这 里 r=2, s=3, 输 入 用 “0”" 和 "1" 标志 ,输出 用 0 ,1 和 ? 
标志 。 





这 样 的 信道 ,在 实际 中 可 能 出 现 , 例 如 如果 物 理 信 坦 的 输入 是 两 个 方 波 ， 
ER — F 
aQ” k a 


M] š iH a a] Bp 8] 12 aE k bu X SË AE rlt): 
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并 根据 积分 值 | 六 英 二 = 了 判断 发 送 的 到 底 是 “0 还 是 "1 。 如 果 了 是 正 值 ,检测 器 就 判决 


发 送 的 是 "0 ,相反 就 是 "1 。 但 是 如 果 1 了 | 的 值 非常 小 ,可 能 最 好 是 对 传输 的 比特 不 做 “ 硬 
判决 ,而 是 输出 一 个 特定 的 删除 符号 “?”。 如 果 迟 道 的 哗 声 相对 较 小 , 则 01 和 1 一 0 的 
可 能 性 要 远 小 于 0? 和 1->? 的 可 能 性 ,因此 假设 PlY=1l1X=0:=PlY=0lX=1|=0 
是 合理 的 。( 习题 4.15 将 进一步 解释 “ 硬 判 决 。) 
现在 假设 DMC 的 输入 是 根据 概率 分 布 ptx) 在 10， 1,…,r 一 1| 中 选择 ,好 假设 信道 输入 
让 的 特性 为 : 
PIX =x} = p(x). x€{0,1,---,r-—1} 
“eM SOX SUED Ue MERE y (Ie H. XA Y BRAS OB 
p(x, y) = PAX = x, Y = y) 
= PIX =x}P{Y = yX =x} 
= p(x)p(ylx) 
piy) = PLY = y} 
= s PLY = y|X = x}P{X = x} 


= 5 pip) 


类 似 地 ， 
p(x]y) = pix, v)/ PO) 
= ply|x)p(x)/ >. p(y|x')p(x') 


因此 对 应 每 一 个 DMC 和 输入 分 布 , 存 在 一 对 随机 变量 :“ 输 入 ”X 和 经 过 信道 的 “输出 Yo 
相反 ,给 定 任意 一 对 离散 随机 变量 ( 革 ，7) ,存在 一 个 DMC 和 输入 分 布 ,使 得 是 输入 ,了 是 输 
出 ;只 需 定 关 信道 的 转移 概率 分 布 为 p(y1x) = PIY= yl 五 =x|。 换 一 种 说 法 ,给 定 任意 一 对 
随机 变量 ( 半 ， 史 ,可 以 认为 了 是 下 的 “噪声 "样本 , 即 通 过 特定 DMC 传输 X 的 结果 。 


例 1.6 Wik XPA 41,42, 38 REY 1/4, BS Y=, WH DMC 如 了 所 示 : 


+2 
p (2) = 14 — 4 pN 
-2 
+] ] 
p (+ |y= 1⁄4 1 opty 12 
-1 


在 这 个 例子 中 六 和 YY 是 不 相关 的 ,但 显然 了 提供 了 相当 数量 的 关于 计 的 “信息 ( 见 
习题 1.10). 


` +h Q Í Po piin 
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Rik Y PE X RRA SPA ACN) ROA X EERE B, BE 2 oj FE Et 31 
W 了 后 关于 三 的 不 确定 性 呢 ? 首先 很 设 我 们 观测 到 了 = yr。 然 后 由 于 对 于 固定 的 y,pfxzl1y)= 
P|X=xlV= Yl! 表示 给 定 Y= y WX kukkuna V = y Bf X WRIA: 


H(X|Y = y) = 2 pobo a F 


这 个 值 本 身 是 了 定义 域 上 的 一 个 随机 变量 ,我 们 定义 它 的 期 望 为 条 件 箭 H(XI Y): 
H(X|Y) = > pÜ)R(X|Y = y) 
F 


l 
= | 2 
> p(y) > pix|y) pel 


= > P(x, y} log 一 一 一 sag 


与 式 (] .3) 相 一 致 。 因 此 ,对 于 给 定 的 一 对 随机 变量 Y, Y. HO XI Y) 表示 观 测 了 后 ,仍然 保留 
的 甘于 让 的 不 确定 量 ， 
例 1.7 考虑 下 面 的 DMC, 它 是 例 1.5 中 二 进 制 删 除 信道 的 一 个 特例 : 


3⁄4 


这 里 p (0) = £, px(1) =+. 通过 简单 的 计算 可 以 得 到 ， 
H(X) = 0.9183 bits 
HAX|Y = 0) = 0 
HAX VY =) = 0 
H.(X|Y =?) = 1 
可 见 -如 果 Y=0 或 者 1, 关 于 天 不 存在 任何 不 确定 性 ,但 是 如 果 了 了 =?, 在 接收 到 了 后 , 反 
而 会 对 时 村 加 不 确定 ! 但 是 ， 
HXIY) 一 0.3333 bits 
AAR tM) YER y T TX ORME, 
现在 介绍 一 个 下 文中 将 会 用 到 的 关于 HXI Y). 
定理 1.2 4X, Y, Z 是 离散 随机 变量 。 利 用 简明 符号 [ 见 式 (1.2)] ,对 于 每 个 EA 
A(z}= >, p(y)p(:lx,y),B 
| H(X|Y) = H(Z) + E(log A) 


证 明 ， 
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Hoin = Ee 


— zl 
= 21s y, 2) cg 


POV 2), | 
= 2 Pe) aro P) “pa 


对 于 固定 的 z,plx， y, z)/p(z)= p(x，Y1z) 是 一 个 概率 分 布 ,因此 可 以 在 内 部 求 和 时 利 
用 Jensen FFA, ARR: 








H(X|Y) = l 
(X|7) >, p) og ak °“ (xl) 


= 2 pelos 55 + 32 p()log >, š Se 


而 P(x, y, zéplxly)=plx, y, p(y plx, vi=plyiplala, y), CHIE, 


推论 (Fano RA) TN # Y £ Š KAMERE, MRA T AS I x. x;, ct, X. |o T 
P= Pi XY}. NJ 


p(x, y, š 





H(X|Y)= H(P,y+ P, log(r — 1) 

证 明 : 在 定理 1.2 中 , 定 又 Z=0, 223 X=Y; 定义 Z=], 2222 XY, MJ 40 =1， 而 

At1)}=r-1. 

注 章 ”利用 简明 符号 证明 前 定理 1.2 包含 了 一 些 细 节 ,见习 题 1.11. 

Fann 不 等 式 有 一 个 有 趣 而 富有 启发 性 的 解释 。 瑟 (Ti 的 是 已 知 工 后 , 仍 需 要 通过 检测 X a 
能 获得 的 信息 量 。 检 测 y 的 一 种 方法 是 先 确定 是 否 X = YV. WE X Y RMS 4 但 是 如 果 
Xs Y, X 就 还 有 rr=- 1 种 可 能 的 取 值 。 检 测 是 否 开 = 了 等 价 于 检测 证 明 中 定 交 的 随机 变量 Z ;由 
于 H(Z)= HOP) ,为 此 需要 ACP. SHE Ye YOR AAA oP.) ,根据 定理 1.1, 在 剩余 
的 rr 一 1 个 取 值 中 确定 下 所 需要 的 信息 量 最 狗 为 log(r — 1). 


例 1.8 将 Fano 不等式 应 用 于 例 1.7 中 的 信道 。 RE r=3,% PIX = Yi =, P ,= 本 为 此 


Fano 界 为 再 (下 | 六 二 昌林 ) + log? = + log + = = log -5 + + log? = log3 — log? = 1.252 0 

bitst 有 关 Fano 不 等 式 更 好 的 例子 见习 题 1.11). 

由 于 号 (表示 秘 道 了 之 前 关于 三 的 不 确定 量 , 而 HOA ARAE YARAT X A 
WER, HO - H(XI1 了 7) 的 差 值 必然 表示 由 了 所 提供 的 关于 天 的 信息 量 。 这 个 重要 的 量 称 
为 X #l Y 之 间 的 至 信息 量 ,并 表示 为 OX; Y): 

WX; Y)= ACX)— H(X|Y) (1.4) 
[在 例 1.7 P, ALX; Y)=0.918 3- 0.3333 =0.585 0; 因此 平均 来 讲 , 对 信道 输出 的 观测 至 少 
提 殿 了 关于 信道 输入 的 0.5850 比特 的 信息 量 ,] 利 用 式 (1.2) 中 的 符号 ,我 们 得 到 关于 (XX; YB 
几 种 重要 变换 形式 : 
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plx|y) 
KX, Y) = D T (1.5) 
_ P(X, y) 
= D p(x, y) log aina) (1.6) 
= 2 pix, y) log 一 二 一 一 me) (1.7) 


{细节 见习 题 1 ,14.,) 

因此 我 们 看 到 CX; 站) 是 下 面 的 随机 变量 x; OTE X,Y 了 取 值 空间 上 的 平均 值 1 
p(x|y) _ pix, y) = ply|x) 
p(x) og p(x) pí y) oe ply) 











f(x; y) = log 


而 a; y PERI, ET EAE BM, AEB 1.7 中 ,1(0; 0) = log > fl HO; ?) =log 2); 


IH kE E EA E S sa TNX: YORE. RRB r PBB) BRE: FSH 
们 不 希望 因 观 测 信 道 的 输 诈 而 被 误导 . 


定理 1.3 STR RRMA SE XEY, A X; Y)>z0. FLICK; Y)=OSARSE X 
# Y 40 2 1 3. ë) - 

证 阴 : 我 们 对 式 (1.6) 利 用 Jensen RFA; 

eet 


—KX; Y) = a Wlog oe y 


< lop > ` p(x) p(y) 
TF 
= log | = 0 


此 外 ,鉴于 logx HPAL GG PA ae x Foy, SHAR plx)ply}=pls, y),PP 
BARS XY MY ARMS, FAR +. 


[ 羡 管 也 许 不 应 该 蝇 调 这 一 点 ,但 是 定理 1.3 表明 IO X; 了 可 以 很 好 地 度量 X 和 了 之 间 的 
相关 度 , 比 如 ,要 比 协 方差 Cov X; YE, BZ FA 1.6 就 很 容易 证 明 这 一 点 ,Cor(T3; 了 ) =0， 
但 是 RCX; 了) = 1 bite] 

利用 式 (1.4) 至 式 {1.7), 可 以 立即 证 明 互 信息 量 的 几 个 重要 性 质 : 


X; ¥) = HY; X) (1.8) 
KX: Y) = H(Y)— H(Y|X) (1.9) 
KX; Y) = A(X) + H(Y)— H(X, Y) (1.10) 


ERI RITET X WILY MORO: 


H(X, N= DP, y)log—— (1.11) 


= y) 


这 些 关系 式 的 证 明 留 做 习题 1.14。 通 过 图 1.5 中 的 维 恩 (Venn) 图 很 容易 记忆 这 些 公式 。 给 出 
图 1.5 中 每 个 关系 式 的 通俗 解释 是 一 个 很 有 益 的 练习 。 例 如 , 式 (1.8) 表 明 互 信息 量 的 “ 互 多 


° x 7' 
本 -jr t > 
: J Ir "F A 1 1 
' mo ` " + ! 
Y as Ë ie ten! 4 和 1 AMA e a 








| `: | 
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H(X, ¥)sHOX)+ HOY IX) RAO XY BARES, SPOOF X 的 不 确定 基 以 
REA XY PAE ROR” ,等 等 。 


ee en 
Pea te 
ee 


+ 


FÑ 


An a IU 
S 
n, 


+ 
+ 


‘oe 
50% 





图 1.5 RO. DAR. SRK. IODA BiciZs 


现在 如 果 给 出 三 个 随机 变量 X, Y, Z AUF.) AER BX. Y; 2008 
X AY 所 提供 的 关于 2Z 的 信息 时) 为 : 


p(z|x, "| 
IX. Y: D) = FE||e S 
人 og PE) 
_ y p{z|x, y) 
i x. V,Z pix 7> 2 log píz) 


我 们 不 希望 由 站 和 了 共同 提供 的 关于 2 的 信息 量 , 少 于 由 了 单独 提供 的 关于 Z 的 信息 量 ,而 
下 面 的 定理 下 说 明了 这 一 局 。 


定理 1.4 1(X,，Y; Z) > ICY; 2Z), 等 式 成 立 的 条 件 是 , 当 且 仅 当 对 于 所 有 满足 
plx, y, z) >0%)(x, y, 2), A p(zl x, y)=p(zl y). 

HERR: 

píz) e E 

a 

plzlx, y) 


= >` p(x, y, Zz) log 
XYZ 


x, 
log 


= E 





plz|y) 
plz|x, y) 


利用 Jensen PFA, ARIA: 


p(zly) 
KY: D- KX, Y; Z) = lo > x, py, J 
( )y— ff ) BoM y nx. >) 


= log X` p(x, y): p(y) 


XV Zz 


= logl = Ü 
2k UN LH SHREK B * =F Jensen 不等式 的 讨论 。 
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定理 1.4 中 等 式 成 立 的 条 件 非 常 有 趣 ; 它 说 明 序 列 ( 瑟 ,， FY，2Z) 是 一 个 Mako 链 , 我 们 有 音 将 
X. 了 和 2 之 间 的 关系 简单 地 表示 为 如 图 1.6 中 所 示 。 这 里 DMC 1 由 转移 概率 分 布 p(y1x) 
确定 ,而 DMC 2 由 转移 概率 分 布 p(zly) = p(zlx, 7y) 确 定 。 我 们 已 经 观察 到 ,给 定 任意 一 对 
随机 变量 {于 ， 了 ,可 以 设计 一 个 以 下 为 输入 、 了 为 输出 的 DMC。 但 是 如 果 ({X,，Y,，2) 是 任意 
二 个 随机 变量 ,并 不 一 定 存在 一 对 DMC, EE X, Y, Z ZARA 1.6 中 所 示 的 关系 。 显 然 必 
ENAGA, Y, ZAR Markov $, B p(zly) =plzlx, DCERE, Z 只 通过 


y ARR X. 
-es 


图 1.6 一 个 信息 理论 学 家 服 中 的 Markov Pk 


现在 假设 (七 ， 了，Z 是 一 个 如 时 1.6 中 所 示 的 Markov 链 。 则 根据 定理 1.4, 有 KX; Z)= 
KX., Y: 2Z), 由 于 (X,Y,，2) 是 一 个 Makov 链 , 有 IX, V; Z)= KY; Z), AIK TCX; 2) 
KY; Z) W(X, Y, ZA Markov 链 , 则 (2 ，7, 对) 也 是 (见习 题 1.15) ,因此 IX; Z)< 
KX: 了 )。 由 于 这 是 Markov 链 的 一 个 非常 重要 的 信息 理论 性 质 , 故 用 一 个 定理 来 描述 它 。 
定理 1.5 (X, 了,，2Z) 是 一 个 Markov 链 , 则 有 : 
ae Í KX: Y) 
WX: Z) = ee Z) 
重新 观察 图 1.6, 会 发 更 DMC 似乎 “前 弱 ? 了 信息 量 。 如 果 DMC 是 确定 的 (也 就 是 说 ,如 末 
r 是 于 的 确定 函数 ,而 Z 是 了 的 确定 函数 ) ,我 们 可 以 将 图 1.6 中 的 级 联 看 做 一 种 数据 处 理 过 
H., RUREK, CH 1.5 说 明 数 据 人 处 理 只 能 破坏 信息 ! [由 此 得 出 的 一 个 重要 纺 论 见 
式 (1.15)。] 
ll 1.9 设 Ak Kavs À; 是 相互 独立 的 aL, W CX, 3 À, + À, X, + À; F X,)#-* Markov 
Ë 所 以 (X: X + X. + X) 4104; X, + X,) OLA 38 1.16 和 习题 1.39). 


例 1.10 在 图 1.6 中 假设 X OAH PIX <0) = PIX=1i= 方 ,并 且 两 个 DMC 都 是 错 


误 概 率 为 p MIU SAE. M: 
KX: = 1 — Alp) bits 
FX: Z= 1- H.[2p(1 — PY bits 


这 两 个 函数 的 曲线 如 下 图 所 示 ( 本 出 的 一 个 推广 见习 题 1.18 和 习题 1.20): 







lHp) 


I-H (2p(1 p) 


` 1 7 J 
EP LE haba x $ 
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本 节 的 最 后 ,将 介绍 当 所 了 看 做 是 输入 概率 分 布 p(x) 或 者 转移 概率 分 布 p(y1s) 的 
AA, AE A; VOM THC. 
定理 1.6 1X; YARMARASA p(x) MHEG) BK. 
证 上 月: 我 们 假设 转移 概率 分 布 pfy1x) 是 国定 的 ,并 且 者 虑 两 个 输入 随机 变量 X, 和 X, , 相 
K 6538 ED ARS BLD op, (x) Ff pp (x), WRX HORE PAP OAS p (x) = 
ap, Cx} + Bpl a), Woe A PE BR ; 
aX; Vu) + PX: Yo) = X; Y) 
AYP Y,.¥, MY 38] 5 X, X 和 针对 应 的 信道 输出 。 为 此 进行 下 面 的 处 理 , 其 中 采用 
TY RAAT: 
aX, Yi} + PIX, 了 一 (X; Y) 


= banG: p PT ) t 2 Brats. y) log ZE [A (1.7) 





Ply) 
- > lapis ¥) + ñB pox, y] log ae (1.12) 
一 =D Pies y) bg- yt PD mix, y} log —— PY) 


ply) 
Mes hw LFA SHEA Jensen KFA. 例如 ， 
2 mi y) log— POs < log) pis ye o) 





piky). 
而 
PUY) PCY) 
> Pils DETT -2 pity) 2 (x. y) 
PO) 
~ nO O) - Pi(y) 


| 7 
: 因此 式 (1.12) 中 的 第 一 项 求 和 式 <0, 第 二 项 求 和 式 亦 如 此 。 
| 推论 MAg H(p,, pos yp, AEE) HT 
: 证 明 , 设 三 是 一 个 随机 变量 ,其 分 布 为 PlX= 计 = po WICK; Y)= A(X) = Ap, poss, do 
$ 该 里 利用 定理 1.6 可 得 出 结论 。 
[ 定理 1.7 HX; DERBETH p(ylx)šy F uU U) BR, 
证 明 : 这 里 者 虑 输入 概率 分 布 p(x) 是 固定 的 ,但 是 给 出 了 两 组 转移 概率 分 布 p(y1%x) 和 
pa(yY1lx) ,以 及 一 个 西 组合 p(ylx) = ap, (yla)+Bpilylx), PRERA, 

HX; Y) = aX; Yi) + BUA; Yo) (1.13) 
AP Y, Y,.¥; 分 别 是 与 转移 概率 分 布 p(ylx),p (ylxz)#e p(y la) Smad Te 8 jir H ç 再 
一 次 采用 简明 符号 , 式 (1.13) 中 左右 两 边 的 差 为 [ 见 式 (1.5)};: 








_ F "` ` ' nog 1 
tj i 
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plx)y) 
pix) 


-Laro pog PSD? - ne y g PS? (1-14) 


P pGly) pixy) 
° > piix, y)log— —— way) +B > Protx, y) log pln) 


Y [apx, y) + px, yy log =H 


XF 








根据 Jensen 不 等 式 , 式 (1.14) 中 的 第 一 项 和 式 


p(x|y) 
a log bs PX, y) er 


= a log X p(x|y)p! o 
xF 
= a log Y ` PCy) = Ü 
同样 ,第 二 项 种 式 也 <0。 


1.2 离散 随机 矢量 


在 上 - 节 中 定义 了 一 对 随机 变量 的 炉 下 ( 互 ， 7) ,并 日 还 定妆 了 一 对 随机 变量 和 第 三 个 随 
PAE Zw Ae et (X, Y; Z) THH AEE, PHE HX), H(X i Y)#l 
IX; Y) ,其 中 X 和 了 是 任意 随机 和 尔 量 。 

PAIRS Re REPL AS X= (X... X... XDA RRL X. 的 一 个 排列 。 
站 的 分 布 ( 即 X,, X... A ARG TAB ER p(x, x, 77 x = PIX, =x, X, = x,,""`", 
X. =x,!, Ape x, PAX, 的 定义 域内 。 回 顾 一 下 1.1 节 中 的 定义 ,读者 就 可 以 确信 
HCX) HCX IX: YR p(x) Al pirlo aes, IWJ X 和 和 了 的 实际 取 值 无 任 
XA. RETAZE ER ese YE URAL AG X= (X, Xo, 7 XE: 


l 
H(X) = >, Po log 


其 中 的 求 和 扩展 到 牙 定 义 域 上 的 所 有 矢量 x。 显然 定理 1,1 至 定理 1.7 仍然 成 立 。 

定理 1.5 推广 到 任意 随机 和 失 量 后 有 一 个 非常 重要 的 应 用 ,我 们 现在 就 讨论 一 下 。 考 虑 
图 1.7 中 的 一 个 通信 系统 模型 (比较 图 0.2 和 图 5.1)。 在 图 1.7 中 ,随机 和 失 量 U RAKE 
续 上 位 输出 ; 编 公 器 将 如 变换 为 a 位 一 组 的 彼 , 并 送 到 信道 中 传输 ;了 是 所 通过 信道 的 噪声 输 
出 ;而 公 码 莫 将 变换 为 位 一 组 的 VY, 并 作为 U 的 骨 生 信号 (至 少 是 近似 的 ) 送 到 信和 宿 。 

问题 的 关键 是 ,对 于 任 倍 实际 通信 系统 ,随机 和 失 量 的 序列 (U, X, Y, VAR Markov 链 ( WL 
图 1.6) ,通俗 地 讲 ,图 1.7 PRP OTR iH H IK TE RA ,而 与 前 面 的 任何 随机 和 拓 量 都 
元 关 。 规 范 的 说 法 是 , 它 给 出 了 许多 有 关 条 件 概 率 的 等 式 约束 ,例如 plylx. wu) = plyix), 
plvly, x) = pviy)( 对 此 不 应 该 存在 任何 疑问 ;这 是 我 们 对 于 通信 系统 的 一 个 基本 假设 )。 将 
定理 1.5 应 用 于 子 Mako (U, 处， 和 ,得 到 /(U;V)=< A(X; V), Aaah, (X; Vs HX; Y). 
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因此 对 于 图 1.7 中 的 随机 变量 ,有 : 
KU; V) = KX; Y) (1.15) 
IX PERERA 38 h 3k yp e e. ZERKI BAE E 1.7 中 编码 器 和 译 码 器 完成 的 工作 ) 
只 能 被 坏 信 息 ! 例如 它 说 明 图 1.7 中 噪声 信道 的 输出 YA 包含 更 多 有 关 信 
WJF U 的 信息 。{ 筷 然 这 在 理论 上 是 卜 确 的 ,但 为 了 还 原 有 用 信息 , 仍 需要 译 码 益 的 数据 处 
理 过 程 ,) 
PE |e (U. U, U) — eng 
U x 
— -二 TY O F) — — (F. V. --. P.) 


Y y 


图 1.7 -个 通用 的 通信 系统 


—e A oe 





现在 讨论 两 个 关于 KX; YOR 57 AX: Y BJA Bah RE X= CLL, XL. XA 
Y=(Y,, Yo, 了) 是 一 对 m 维 随机 矢量 。 


定理 1.8 如 果 发 中 的 分 量 ( 向 ,于 ， 和 如) 是 相互 独立 的 , 则 ， 
1(X; Y) > DI ¥;) 


WARE REM X ie Y RSHAS R] OBER. BARE A, Xe, X, 定 相 互 独 


7 A: 
HX: Y) = E EZ [ f, < (1.5)] 
p(x|y) | 
= E| log —— F 
| ve P(x) pl) -o p(x,) 
另 一 方面 ， 
gal) 
itX,, Fi} = Ë 
> ' )= > L P(x) 
pixy) -poa 
= £ | log -一 一 一 一 一 一 一 一 一 一 
| PAX) : ' ' plxn) 
因此 ， 


> UX, Y) 1% Y) 
i=] 
PXI — 
= F |] Z ` — — —— l 
| ve P(X|Y) 
pixiv) `. — -0 


= log E 
š | p(xly) 


EK 4] AT Jensen 不 等 去 ,其 中 最 后 一 项 期 望 为 : 
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Dpi y) bej = 2, P(x | yi)" p(x, | y, )p(y) 
= -oo 人 | yi )). Q Dipl, | Yad) 
= >i pty) 
=| 


1.11 RX, Xi, X. AREA SHH RRNA E, CORA H. Boia 是 集 
合 11,2,… nti PER AAS Y = Xe ye MICK; Y)= n,m X, IX; ¥,) = kh, 
LE kér 中 国定 点 的 数目 , 即 满足 rx(i) =i 的 整数 i 的 数目 。 特 别 是 ,如 果 zt 没有 固定 
点 , 钢 如 如 果 z(i)=i+1(mod n), A 51 X; 了)=0( 见 习题 1.23)。 


假设 将 (天 ，X;,…， 斑 , ) 看 做 一 个 曲 声 信道 的 输入 , CY), Yoo, 了 ) 看 做 其 输出 ,定理 1.8 
告诉 我 们 ,如 末 输 人 是 相互 独立 的 ,YY 所 提供 的 天 于 四 的 信息 量 , 比 每 个 了 所 提供 的 关于 相应 
,的 信息 量 的 总 和 要 和 名。 下 一 个 定理 将 告诉 我 们 ,如果 不 再 假设 是 相互 独立 的 ,而 假设 
(X. Y) 信道 是 无 记忆 的 , 即 ， 


M 
piyi. Vales os Xa) = | | pois (1.16) 


情况 会 完全 不 同 。 


定理 1.9 je RX = CX, Ass eat X )#e Y=ú(Y,, Poa Y ) 是 随机 天 量 , 并 上 且 信 通 是 无 
72128 , BP to RAL. 16) AU 3 , Ml 


UX; Y) = $ IX; Y) 
i=l 
证 明 : 再 一 次 设 E R Fat X dc Y RARA E MB HRA.) A 


HX; Y)= E tog | [RA (1.7) 


ply) 
p(y |x) + el) 
= E|lopp—— — — 
| i ply) 
HOA, 
i gZ) 
(Xn Y)=\ E 
yen = d, L PCY) 
ply lxi) T ponla 
= E| i i TU Pinta? 
É PPO 
因此 ， 


KX; Y) — > IX; Y.) 


i=l 


Š de = 
at í "+ ap GE el ai 
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_ £ tog P = Po 
pty) 


< log E| PO) E po) 
p(y) 
— Ü 


上 式 利 用 了 Jensen 不 等 藉 , 并 由 于 最 后 一 项 期 望 为 : 


2 POM Y= 2 pon) ' Pn) 


=| 
例 1.12 A X ZAM Aq. 3.2 X = X, =-= K =Y =' =Y, HX. MARR 
足 定理 1.9, 并 有 KX; Y)=H, >` KX; Y) = nH( 见 习题 1.23). 


FETE wR Y= CN, Aas’ "5 X.) , D] 


H(X) = Y H(X,) 


i=l 
WAR. X F = X 3 Bh B| Z 1.9, 


注意 ”因为 当 且 仅 当 TX; Y= X 1 (X; YB, RSA OME TARR AS MERA 
XLARES PE-ERSARAHAPRARAA- LEHRER, ARONA, ik hik ak, Q u 
要 的 (见习 题 1.24 和 习题 1.25). 


1.3 非 离散 随机 变量 和 天 重 


-- 节 里 我 们 的 日 标 是 将 1.1 节 和 1.2 节 中 的 结论 推广 到 取 值 个 数 不 可 数 的 随机 变量 和 
ch 要 相 完 全 严格 地 论述 这 个 问题 是 十 分 困难 的 ,因此 只 介绍 - : 些 基 本 结论 ,并 建议 有 兴趣 
的 读者 阅读 其 他 参考 文献 进一步 了 解 细节 。 

我 们 将 看 到 炉 及 CX) 的 定义 可 以 应 用 于 非 离散 随机 变 景 ,但 它 的 值 却 总 是 无 限 的 ! 而 在 
- -对 离 艇 随机 变量 ! 或 矢量 ) 荆 和 了 之 间 定 义 的 亏 信 息 量 , 却 可 以 按照 一 种 更 有 趣 和 和 时 实 用 的 
方式 推广 到 非 离 散 的 情形 ， 其 中 的 关键 是 对 一 个 随机 变量 X 进行 的 离散 量化 的 概念 。 
on 蕊 是 一 个 具有 分 布 函数 F(x)= P| Xx WEINER, HAR S, isl, 2) = P ZE 
将 实数 轴 R 划分 为 有 限 或 可 数 个 Lebesgue 测度 子 集 的 一 种 分 割 “ , 则 区 被 已 量化 后 表示 为 [ 开 ]。， 
或 简单 表示 为 [六 ], 它 是 由 下 式 定 关 的 一 个 鹿 散 随机 变量 ; 
PI[X] =i) = P(X eS} 


= | dF (x) 
s, 


好 果 利 F 是 一 对 随机 变量 ,我 们 定义 它们 的 互信 和 息 量 1(X; YA: 
KX; Y) = sup TX]e; ?jo) (1.17) 
P.O 
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这 里 "sup REFLETS EN P 和 9 APS UAE OSE X= CX XPV HCY Y.) 
fe Sf BBL B , 
HX: Y) = sup AEX]: [Y]} (1.17) 
这 里 的 二 确 界 取 值 于 随机 和 失 量 中 各 组 成 分 量 的 所 有 分 割 [X] = (L X, ), | X DAILY] = 
I Are ` 
h ya] P. 中 的 每 个 集合 都 是 分 割 P, 中 某 些 集合 的 子 集 , 则 称 分 割 P. 为 P, 的 细 化 。 
注意 如 果 分 割 P, 是 P, 的 一 个 细 化 , 则 [了 > REL X], 的 确定 函数 ,因此 根据 定理 1.5(u L 
习题 1.22) ,对 于 任意 随机 变量 了 ,有 FLY Der Xl: Y). RRB MAT PAO 
的 不 断 细 化 ,定义 (1.17) 式 中 的 "sup" 实 际 上 是 一 种 限定 。 这 一 点 很 容易 证 明 , 如 果 [ 工 ]，， 
Xh LY), ALY), 分 别 表示 与 分 割 P, Pa, O, 和 0, 相对 应 的 离散 随机 变量 ,必然 存在 分 割 
户 利 IO ,其 对 应 的 随机 变量 [XY] 和 [ 7 满足， 
KEXI EYD = [X]; [Y] f= 1,2 (1.18) 
现在 和 假设 于 和 了 已 经 是 取 值 于 jx x. H yo yote i AARDE E , ieee X 的 一 
$52] ,使 每 个 集合 所 包含 的 x, 数目 不 超过 一 个 ,同时 选择 了 的 一 种 分 割 ,使 每 个 集合 所 包 合 
的 x 数 月 也 不 超过 一 个 ,显然 有 TAI; [Y]) =X; 了 )。 并 且 进 一 步 的 细 化 不 能 增加 
IO X]; LY), Slee ZO ADRS RAMA x. 
HX. 的 定义 (1,17) 式 虽然 相当 简单 ,但 是 对 于 给 定 的 一 对 随机 变量 ,计算 IXY) 
际 上 并 不 方便 。 我 们 希望 有 类 似 于 式 (1.5)、 式 (1.6) 或 式 (1.7) 的 ,通过 积分 而 不 是 求 和 来 计 
算 7(, 耻 的 公式 , 亲 是 一 般 情况 下 这 样 的 公式 并 不 存在 ”。 但 如 有 果 六 种 了 足够 平滑 ,就 可 以 
找到 这 样 的 公式 ,现在 让 我 们 来 看 一 下 。 
假设 x HY 具有 连续 的 联合 密度 函数 , 即 对 于 实数 对 (x，Y), 存 在 一 个 连续 非 负 值 的 铺 
n(x, +) ,如 果 4 ALB 是 实数 轴 上 的 低 间 ,有 : 


PIX cA, Y € Bh -| | pix, y) dx dy 
BS A 


这 种 情况 下 下 和 了 的 独立 密度 函数 为 : 


P(X) = | pla, v) dy, gir} = | p(x, y) dx 





Wi A A es FE ARO: 
_ px; y) _ POY) 
Mx|y) = ' A p(y|x) es 
现在 假设 积分 : 
E l 
ACA ) = | za TE a (1 : 19) 
WX|¥) = , v} log ——- drd 
(X|Y) | | pe y) log PE y (1.20) 
AMT Eo 
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定理 1.10 根据 前 面 的 假设 条 忻 
IX; Y) = AX) — AXIY) 


证 明 : 性 意 选 择 0<e ce, FPA er 1 < x < x, < É — ZR T 3 69 NTH i, 
Ax, = x — x. MR e < Ax, < E20o PRH) Re, < Ay <e2o RUIJA EWE 
放 区 间 [x, 1， xX;) 组 成 的 实数 轴 分 害 对 下 的 量化 ,而 [了 ] 表 示 由 区 间 [ .1 ,YY ) 组 成 的 分 
乔 对 了 的 量化 。 现 在 临时 引入 符号 


Xr 


pli) = PILY] = i) =| p(x) dx 


3 — ` 


k, 
gf) = PITY] — j} | q( v) dy 


Mie 


pli, p= PAi = = | | pix, y) dx dy 


pal) = P([X] = il[7] = J) = pti, A/a) 
AYR AAG EARRA RRS Pee” As €C x... x], 
Ely 1, yh ME: 
p(t} = Ax; pls) 
GU) = Ay) 
同样 ,通过 利用 二 维 中 值 定理 中 ,在 [x _1 ,xjx[y_1, vy BR ABER, 1) A: 


(1.21) 


J: a; 
pa, j) = J | p(x|y)q(v) dx dy 
Pil 4% 1 


= wilt Í giy} dx dy (1.22) 
= plsy AxA) 
因此 ， 
P(ilj) = Ax, plsslty) (1.23) 
现在 根据 式 (1.4), IG([ x]: [Y]) = aU X] - H(X] | [YD = 2; p(Dbogp()” - 


5) pli, j)logp(i 1)", BAA01214: 





l l 
HUD = $. Anpi tog 7 + 2 Aarts log A (1.24) 


式 (] .24) 中 的 第 一 个 求 和 项 近似 于 hh(X) 中 的 积分 [ 见 式 (1.19)], 因 此 只 要 e, 值 足够 小 ， 
Eaka, BaD KAA (AAD T loe Æ AA Ax >e FMM, 


H([z)l[y]) =} AxA y ply lta) oe- T 


十 > Ax, oe 5 Ay p(syl ty) g) 


(1.25) 


PH 
eH 

7 

reer 

+ 

J 

—— 

A 
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翅 (1.25) 中 的 第 一 个 求 和 项 是 pfCr，y)jlogpfxly) 的 近似 阶梯 函数 的 积分 ,因此 只 要 =, 
的 值 足 总 小 , 它 和 将 逼近 于 hOXIY). 而 根据 式 (1.22), 第 二 个 求 和 项 与 式 (1.24) 中 的 第 二 
个 求 和 项 相同 ， 


2 Anplag) = = Ax; >M | | p(x, y) dx dy 
Fri ži 
1 
= Ax ` Axp(s;) 
E] st we Aa +$ E : 
l 
{xX}; YD = 2 Ampts) log) 


一 3 AxA y p(si|ty)q(t,) log — 


(1.26) 
= |) 


E jE+ej& fil LS p| ón < (1.26) PRA E do R it T h X), 3 — 2 RF h t Ag, 
T RIXIY), B]j)btiñ if mie X FY HSB PMS e, 一 0, 可 以 肯定 I([ X]; [ Y]) 
HAT h(X)- 有 (| 了)( 定 理 1.10 的 一 个 重要 应 用 见习 题 1.27 和 习题 1.28). 


表面 上 (YY) 的 定 忱 非常 类 似 于 随机 变量 的 精 的 定义 [ 见 式 (1.1) ,似乎 应 该 称 h(X) 为 
五 的 粹 ,但 这 却 是 用 词 不 当 , 因 为 一 般 应 该 定义 HOA ACL Xe 无 不 同 离散 量化 的 上 确 
界 。 而 从 定理 1.10 的 证 明 过 程 中 可 以 看 到 [ 见 式 (1.24}], HH([ 邓 ]) 是 由 两 项 组 成 的 ;其 中 一 项 
是 近似 于 h(X) 的 求 和 项 ,而 另 一 项 >, p(i)log(Ax,) !' 却 是 量化 间隔 的 一 种 度量 ,并 且 显 然 随 
着 Ax, 的 减 小 而 趋 近 于 + %。 实 际 上 很 容易 证 明 AL XB SBT + s< 【见习 题 1.31)， 
即使 积分 AC XU - x 1 AR ACK) PER 8 HBJE ,但 它 却 不 是 下 随机 性 的 一 
种 放量。 事实 上 上 (了 T) 基 至 在 坐标 变换 中 也 不 能 保持 不 变 (也 习题 1.33). HSE. ANA A PR 
AX Ak VA R p TAE rR 26 2 o 

类 似 于 离散 情况 ,我 们 可 以 很 容易 地 将 TC; OR R REE AMIRE. 为 定 
义 通 用 的 TCX; Y) ,只 需 分 别 对 每 个 分 量 进行 离散 量化 。 而 对 于 AX ,假设 存在 一 个 n 维 连 


续 密 度 让 数 p(x) ,并 定义 h(X) = - | p(w)logp(x) dx. 
1.13 j&X=(X,, Xo, 省) ,其 中 五 症 相互 独立 的 高 斯 { 正 态 ) 随 机 变量 ,均值 为 =, 方 
ZAo, WXH FAA BR: 


a(x) = [one yu to- elim = | (1.27) 


=] 


RS BH RB X yk HN; 


W(X) = | g(x) log O 


= ES MNN exp 


i=] 


(x; m fe 








(u — Hi) | 
= | se i log(27r0? ) + oa dxi 


i=l I 


. - wq `. " ' 
. a =e iT Ë -5 : 
a knoz cu i EEL f: 
pat p ERU be a ka OE 
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( 其 中 s(x) = {l {y 27a?) exp[—(x 一 Hi) /207}) 
= > 其 log(2zrc7) 二 1 


j=] 
CHT |gG3)ds =l ef glx), — #,Y du = ot) 
= 5 log Zrela? ... 2)" 


对 于 n =1 的 特殊 情况 ,我 们 有 : 
A(X) = tlog 2zreo2 


一 个 重要 而 有 趣 的 事实 足 , 在 给 定 方 差 的 所 有 n SERED ee Le 
量具 有 最 大 的 微分 箭 

定理 1.11 wR X=- (X , X., =, JJK ER BERS p(x) HA EX - ew Voge, 

i=l, 2,7", n, BACK) g (n/2)log2ze( sia ot }'", SEARS p(x) = g(x) [LEX 

【1.27) 式 ] 时 ,等 式 成 立 ( 个 别 情 况 除外 )。 

证 明 : 根 据 假 证 X, 的 边缘 密度 函数 请 (xz) 满 足 | p(x) dr = 1, | pala- Y da = al, 

因此 根据 例 1.13 中 的 计算 ,有 : 


l ga” 2... g2ylin 
| po log ax) dx = 5 log 2:te{ a; ary? 
因此 如 果 Y RASH AL BSE BSR glxi n BMRA, 
ACK) 一 ACY) = | ptxylog Sas 
PAX) 


根据 Jensen 不 等 式 , 上 式 中 最 后 的 积分 式 
= log | sa dy = Ü 


此 外 ,对 于 几乎 所 有 的 多, 当 且 仅 当 g(x) = p(x) FARA, 【习题 1.34 和 习题 1.35 是 
定理 1.11 的 扩展 ,】 


简单 地 讨论 了 微分 焙 的 有 趣 话 题 后 ,我们 回 过 来 研究 主要 关心 的 互信 息 量 。 这 里 是 在 一 
定 的 是 信 和 度 下 ,证 明定 理 1.,3. 定 理 1.4. 定 理 1.5.、 定 理 1.8 和 定理 1.9 在 一 般 情况 下 仍然 成 立 。 
定理 1.3 .定理 1.8 和 定理 1.9 的 证 明 并 不 困难 ,下 面 是 证 明 的 一 些 要 点 。 

定理 1.3， 对 于 久生 的 任意 离散 量化 ,有 CCX]; [六 0, 因而 可 以 立即 得 出 OX; ¥} 20 
的 结论 。 渤 一 步 地 ,如 果 节 和 于是 相互 独立 的 , 则 [入] 和 [Yj] 也 是 相互 独立 的 ,因而 对 于 所 有 的 量 
化 ,有 KIX]; [YD =0; 因 此 根据 式 (1.17) 有 X; ¥) =0. AS, a XA Y ERK, BEY i 
$8 8) BAL AY XIA Y ABE LAA 1.36), A TCX: YX]; (Y]) >0。 

定理 1.8。 将 上 面 的 观察 进一步 推广 ,我们 发 现 如 果 X... OX, SEP Se LY, J, 
[下 成 ] 也 是 相互 独立 的 ,因此 根据 定理 1.8， 


KEXI; {YD = > (XJ Iy) (1.28) 
i=] 
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但 是 随 着 | x] 和 [Yj] 量化 的 进一步 细 化 , 式 (1.28) AEF KX; Y), WABI 
uel ns 
€ 1.9. pj L E [n] EN um SE) 假设 
p(y|x) = |] pov) (1.29) 
i= 1 

ILR. 16) | ACER ff tir BRAT SE A 9 Cf QU] 223 Feller| 4]. 第 2 卷 ,V.I0 节 )。 
但 是 通过 定义 一 个 无 记忆 信道 可 以 回避 这 些 问题 ,假设 该 信道 输入 各 输出 的 所 有 量化 满足 
式 (1.29),， 这 个 条 件 通常 很 容易 证 明 ( 见 习题 4.27) ,因此 可 以 立即 将 定理 1.9 应 用 于 输入 和 
输出 的 每 一 种 量 性 :; 


KEXI [YD = Š AXA (YA) (1.30) 
iz | 


并 且 随 着 式 (1.30) 中 量化 的 网 化 ,得 出 定理 1.9 对 于 任意 随机 变量 都 成 立 的 结论 。 

最 后 讨论 一 下 定理 1.4 和 和 定理 1.5。 首 先 观 察 到 定理 1.$ 是 定理 1.4 的 个 直接 推论 , 因 
此 我 们 将 重点 放 在 定 埋 1.4 上 。 一般 让 明 CX, Y; Ze IY; 也 ) 成 立 不 存在 问题 ,因为 对 于 
X,Y 和 2 的 每 一 种 量化 ,我 们 直接 从 定理 1.4 可 以 得 到 LX), [Y]: [Z])> 18 Y]; [21)。 
但 是 要 证 明定 理 1.4 的 第 福 部 分 并 不 窑 易 , 即 当 和 且 仪 当 (， 了 ,2Z) 构 成 一 个 Markov 链 , TO X, 
Y; Z)= FF 7) 成 立 。 问题 是 如 果 ( 针 ,了 ,2) 是 一 个 Markov $, M XAL aE X M z A 
量化 ,有 可 能 找 不 到 了 Y 的 一 个 量化 [区 8480 UX], Y, ' Z])8RR-- U Marko 链 { 见 习题 1.37 
至 习题 1.39)。 这 里 不 打算 提供 详细 的 证 明 ,但 是 读者 可 以 参考 Pinsker[24] 的 第 3 章 , 该 书 对 
我 们 引用 的 结论 给 出 了 严格 的 证 明 


习题 


1.4 证 明 如 果 以 下 两 个 假设 中 的 任何 : -个 成 立 , 则 在 五 (证 的 定 羡 (1. 了 DD) 式 中 必须 规定 0log1/0=0; 
(a) HOX) BoA p= (p, pr. TERE EL, 
(h) 如 果 X ALY $e MEA SS] ERLE, X = Y JU YP ab ab ae, DH 

H(X)= H(Y), 

1.2 WRX MG) 1.3 中 定义 ,证 了 明 H(X)= + 加。 

1.3 A X 2-+ RAMPS, Hf E x E Y BR F 0J— T 3 8 p E H( X) > 
ALAMO SARs f 53 S |x: PIX =x} >0I 一 一 对 应 时 等 式 成 立 。 

1.4 寻找 两 组 不 同 的 分 布 pepe cep, >0 Ej a eae da > OT H (ppo) = 
Has dass qa do 

1.5 “4 pHGS = EDAREN, H p op) = Htp) 的 最 小 值 是 多 少 ? 找到 能 达到 
此 最 小 值 的 所 有 po 

1.6 SEART ppe p MAER m.0= m= n, E X q, = 1 - Daa ps 证 明 


AC p, , Paa H( p. + 5 Pa + Im ) + q. log( n = m). 等 式 何 时 成 并 ? 
1.7 & 六 x) 是 定义 域 为 x 宕 1 的 任意 函数 。 如 果 大 是 一 个 离散 随机 变量 , 取 值 范围 R= |x ,…， 


n 
ri PA 4 
me Ë oe i ' 
1$ pI i i a weit 
ade anon 5 cig: ar i 
a ate - i aig ' Wires a 238 
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x | SEX BRAH) = >1 pf C/p,) EP p. = P| X = x | ORR ADE X 

rh f(x) = ogr) 

(a) 如 果 fx dE Ez rR US POOR RRB n Pe ERT BE CPR. Pu BH is 
钊 这 个 最 大 值 的 概率 分 布 可 能 不 是 惟一 的 : 

(b) 如 果 flx) = logx/x, WEAR H(X) <log(e ie. [注意 : f(x) RE EAM. | 

(e) 利用 (D) 中 的 结论 , 进 .-- 步 证 明 ,实际 上 W(X) <log(3)/3, 4H(L4 p, 中 有 三 个 等 于 


二 ,其余 的 都 为 0 时 等 号 成 立 。 
1.8 令 a=(al,o，…) 为 一 个 非 负 值 实数 序列 , 且 能 使 和 式 Z( )= >，e “对 所 有 足够 大 


的 s itat (H, URRA ARET a ,这 个 条 件 就 能 满足 ,) 对 每 个 a > 0, X PCa) = 
sup! H(p): >) p,a@, = al。 TER O(a) AERIS RRR A Pa) = logZ(s) -sZ (5s)!2Z(s)， 


: 其 中 2(5)1Z(s) = - an [提示 :如 果 >》) pa, = a, 定 义 一 个 新 的 概率 分 布 为 = 
! e "jf2Z(s) ,然后 对 种 式 > plogi gaip, 应 用 Jensen 不 等 式 - QR a= (aa tts G.) 
f 仅 有 有 限 多 个 分 量 , 让 明 DaX a 的 曲线 应 类 似 于 下 图 : 


请 给 出 A, BAC 点 的 坐标 。 
1.9 S pap. p;,…) 是 一 个 可 数 的 概率 分 布 , 即 对 于 n=1,2,…, 有 p BOA s p. = 1. 证 
明 如 果 S) plog Se, WU 五 (P) 是 有 限 的 。 相 反 , 如 果 HARE pR AE 
p, Doe) EBA > p,logn < oo, 举例 说 明 如 果 缺 少 了 单调 性 的 假设 ,后 面 那 个 结论 将 不 
x 1.10 令 三 和 7 是 例 1.6 中 定义 的 随机 变量 。 证 明 Col X, Y) =0,1( X; Y) = 工 bit。 找 到 这 样 
的 DMC, 使 束 是 了 经 过 该 信道 受 噪 声 干 扰 后 的 输出 。 
| 1.11 RAE 1.2 等 式 成 立 的 联合 概率 分 布 pfx,y,z) 的 充分 必要 条 件 。 利 用 这 个 扩 论 ， 
Í 对 任意 rad MER 0s P. < 1,01 BH 6 BD) 2, ,rr| 的 随机 变量 ”和 了, 使 得 Fano 
| 不 等 式 ( 定 理 1.2 的 推论 ?的 等 式 成 立 . 
1.12 证 明 Fano 不 等 式 以 H(X1Y) 形 式 同时 上 暗示 了 P, 的 上 限 和 下 限 。 斌 着 解释 一 个 这 个 
| ERR. 
j 1.13 设 AY 是 随机 变量 , 并且 都 在 有 限 集 中 取 值 。 定 六 Z-¥-X. HHEH 1.2, WEAH 
: H(XIY)< H(Z), WEA SZ te TM WEH H(X1Y)= H(Z)。 
| 14 证 明 式 (1.5) 至 式 (1 ,10)。 
.15 EY, Y, 2) 是 离散 Markov 链 的 充分 必要 条 件 为 (2 ,Y, 革 ) 是 离散 Markov 链 。 


下 
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1.16 让 明 例 1.9。 

1.17 (a) X 是 一 个 随机 变量 ,均匀 分 布 于 ji0,1,21。 了 是 一 个 仅 取 二 值 10,11 的 随机 变量 。 在 
HA Y PIX: 了) 可取 到 多 大? 

(b) 现在 令 六 是 一 个 随机 变量 ,均匀 分 布 于 10,1,…,n 一 1;; 了 是 一 个 取 值 邦 围 为 10,1,…， 

m -1 的 随机 变量 。 在 所 有 Y PICK; 站 可 有 取 到 多 大 ? [注意 :只 有 m < n 的 情况 是 有 意 
Bo | 

1.18 Pr n AREI BSC 级 联 ， 

x, — [BSC #1 | — X, —e = [BSC i | — x, 


每 -个 BSC 的 原始 错误 概率 都 为 p, 证 明 该 信道 等 价 于 一 个 BSC, HR BEAR [1 - 
(] -2p)] ,并且 lim... I Xo; X.) =0, MR p 0,1. 

1.19 MUSE XY A Z 是 定义 在 相同 样本 空间 上 的 二 个 离散 随机 变量 ,条 件 互信 息 量 CX YZ) 
(给 定 2 ,下 与 了 之 间 的 互信 息 量 ) 定 义 为 ， 


I(X; Y|Z) = Š ` p(x, y, z) log 


X, Y.Z 


其 中 的 求 和 采用 通 间 的 惯例 。 EB: 
(a) FOX; YIZ)= IK Y; X| Z). 
(b) I(X:Y,Z)= I(X;:Z)+ (X: Y1 Z). 
(c) AX; ¥IZ) 20, 5H (X, Z, Y)E— Markov SENIER bY 57 
1.20 {有 限 Markov fE.) 2 4 = (a) E— É rx r BY BA OLS EE, BX i= 0,1,°,7-1,4 
a, 20H 31") a, =1。 将 4 看 做 是 一 个 DMC 的 转移 概率 矩阵 , 即 PLY = IY= ii = ay 


考虑 这 个 信道 的 一 个 半 无 限 级 联 : 


DMC DMC l DMC 
a me ] — X, oe 5 — --- — Ap | — r — 


MES (po. Piss Py) =P 是 一 个 概率 矢量 , 它 对 4 是 稳定 的 , 即 p; = > piay, 其 


中 ,j=0,1,… r - 1, RER X, 的 概率 分 布 为 Pp。 

(a) 证 明 夸 ,,,, 廊 ,,… 是 具有 相同 分 布 的 随机 变量 。 在 什么 象 件 下 它们 基 独 亲 的 ?( 反 
列 X,, X, . X; ,… 称 为 有 限 Markov 链 ; 参 见 Feller[4] ,第 1 卷 , 第 15 章 和 第 16 章 .) 

(b) Markov $E Xp, X o BICETE AEAN: 


I 
H = lim ~ H(Xo, Xi,  '. X 1-1) 
ne, ft 


pix, vlz) 
p(x|z) pí ylz} 


HERH ; 
l 
= ! ih —— 
H 2 Pa, uT 


(c) 给 出 Markov 链 的 转移 概率 和 矩阵 如 下 ,计算 它们 的 稳定 福 率 分 布 和 和 炳 。 
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(在 最 后 的 例子 中 每 一 行 是 前 一 行 的 应 左 箱 环 移 位 :) 

1.21 KX; YEE pOOR R LONARE? CAF plyla) ses PEAU ae? 

1.22 E X-A XM VYHCY,. YO R ES LS fA ge BOA PA m 
AWS AEA SEA eee. 证 明 IL SCX); e CW) i</(X;Y). 

1.23 补充 例 1.11 利 例 1.12 中 缺少 的 细节 部 分 。 

1.24 证 明定 理 1.8 中 等 式 成 立 的 充分 必要 条 件 是 对 所 有 的 (x, y}, 有 p(xly)= [| px,17 0) 

1.25 证 明定 理 1,9 中 等 式 成 立 的 充分 上 必要 条 件 是 了 ,了 Y,…, 了 是 相互 独立 的 ,由 此 , 宋 理 1.9 
的 推论 中 等 式 成 立 的 充分 必要 条 件 是 X... A, 是 相互 独立 的 。 

1.26 WE X fi Y= (也 , 歼 ,…, 世 ) 是 离散 随机 矢量 ,证 明 XY) < 27 XS YRS 
成 立 。 

1.27 UX AZ 是 相互 独立 的 随机 变量 ,具有 连续 的 概率 密度 曲 数 ,全 了 = 和 + 7Z。 如 入 ACY) 
和 (2Z) 存 在 ,证 明 JO X; y) = ACY) -ACZ). UEFA X # Z 是 随机 矢量 ,相同 的 公式 
tE BR W. 

1.28 CENE X AZ 是 相互 独立 的 随机 变量 ,了 是 离散 的 ,Z ERR Y= X + 
Z, WERE YY 有 连续 的 概率 密度 ,并 且 恕 困 A{ 了 ) 和 h(tZ) 存 在 , 刘 基于) = aly) - 
h(Z)。 证明 如 果 X AZ 是 随机 矢量 , 则 有 相同 的 结论 。 

1.29 WE X = (XX,,…,%,) 中 各 个 分 量 是 相互 狼 立 的 高 斯 随机 变量 ,均值 为 ,方差 为 a,。 
Ka (XX ee XE LL, RRA pi A of TEA M+ KHON, + XX + 
XS OPE, BRAX p +e ,方差 为 ol to’ 

1.30 如 果 XX. X, A RL, H RS OX) = A, WER: 


AUX, +. + X.) = T 


Fu | 


等 式 成 立 的 充分 必要 条 件 是 X, 为 高 斯 变量 ,方差 si = e f2meao 

1.31 如 果 乒 具 有 连续 概率 密度 函数 ,证 明 supH([X]) = + o, 其 中 上 确 界 是 取 通 互 所 有 可 
能 的 离散 量化 而 得 到 的 。 

1.32 构造 一 个 概率 密度 p(x) 对 所 有 实数 都 连续 的 随机 变量 ,使 得 CX)= - @ 

1.33 HEX E... n 维 随机 矢量 ,具有 连续 的 n 维 概率 密度 p(x) 和 微分 坟 h(X)。 令 了 是 一 个 欧 几 
里 得 n 维 空间 EY 上 连续 可 微 的 一 一 映射 。 证 明 ALX] = ACA) + | p(x)logl J| dx, HFP 


J= JC.) x, EE £ RES] EE. 
1.34 A X=-(X °°, X, VE TY i si, ELX - 2 CK, — 
u,)l=p,. WEA: 
A(X) = 3 log 2ae(a2)!/ 


eo) Roe jy 
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其 中 2 是 矩阵 ( o ) 所 对 应 的 行列 式 的 值 。 此 外 ,证 明 等 式 成 立 的 充分 必要 条 件 是 和 为 
n 维 正 态 分 布 的 随机 实景 ,其 协 方 差 矩 阵 为 (py)。( 参 见 FellerL4] ,第 2 着 ,下 .6 节 。) 
1.35 设 f(x) 是 定义 在 区 同上 的 一 个 连续 实 值 消 数 。 本 当 题 的 且 的 是 ,如 果 于 的 概率 密度 
TEOREM af TE}, pla) =0, 日 | p(x)JCx) de= A, FP int(A) < A < sup(/), 求 出 微分 
h 有 (TI 可取 提 多 大 倩 。( 例 如 ,如果 了 =(- e, M f(x)=(x- z) ,我 们 将 通过 一 
条 新 途径 得 到 一 维 条 件 下 的 定理 1.11。) 定 义 6(s) = | e wo deo 证明 存在 ,使 


人 -A ##M x € IH g(x) = eTR (so), x É [时 gtx) =0., TEAR 
h(X)=logG(s,) + yA, SARI ED OER A X Oe aE JU F ab ah SSF g(x). 
[提示 :见习 题 1.8. ] 将 这 个 通用 方法 应 用 于 三 种 情况 : 

(a) f(x) = logx, T= (lt,%). 

(b) fix)= xr,T= (0,%), 

(c) fü xz) = Ixl f/-{-m,@), 

1.36 如 果 六 和 了 不 是 相 丘 独立 的 随机 变量 ,证 明 存 在 着 离散 量化 的 [LX1 和 | Yj, 它们 也 不 是 
相互 独立 的 。 

下 面 的 三 道 习 题 需要 读 着 具有 一些 简单 的 Markov 链 的 知识 :例如 ,可 参见 Feller[ 4], 

3 23%, V.H Y. 

1.37 设 (了 ,了 ,2Z) 是 一 个 Markov 链 ,满足 对 于 任意 量化 LYJ 和 [2Zj 都 存在 量化 [ Y], E], 
[Fj,[ 2 构成 一 个 离散 Markov 链 。 证 明 CX; ¥,Z) = I(X;Y). 

1.38 SHOX, AX), DRA, Y, A 了)) 形 式 的 Markor 链 。 证 明 这 类 链 具 有 习题 1.37 BH PE HJ 
性 质 , 定 理 1.4 也 活用 于 它们 。[【 提 示 :; 对 于 {二 ,fCX),Z) 的 人 情况, 如果 1S;1 是 计 的 分 割 ， 
令 (5,) 是 了 的 分 割 ,] 

1.39 i X, X AX, 是 独立 同 分 布 的 高 斯 随机 变 最 ,均值 为 0, 方 差 为 1。 证 明 序列 (XX, Y, 2) 
构成 -一 个 Markov H, HH X= X I Y= XI + X, M Z= X, + X, + X, CRA 1.9. H # tB, 
SERA, wR NA Zi XZ 的 量化 ,并 假设 二 者 都 具有 两 个 以 上 的 取 值 ,那么 对 于 
Y AEE REY), CALEY 2) aR ARSE Markov 链 。 


注释 


[1] 假设 你 可 以 问 问 题 Q “RARE n BU", SR PA n 的 减少 ,你 的 不 确定 
性 (焦虑 ) 将 会 怎样 地 增加 。 

[2] 下 (1 中 有 时 也 称 为 (了 关于 于 的 ) 疑 义 度 。 

[3] 在 正规 的 数学 术语 中 离散 "的 意思 是 有 限 或 可 数 。 令 我 们 的 DMC 的 输 和 人 和 输出 符 
叶 集 可 数 是 没有 问题 的 ,但 是 为 了 避免 与 公认 的 信息 论 应 用 相 韦 盾 ,通常 不 这 梓 做 。 

[4] 这 些 定 义 仅 当 pla ply) KOM AAEM. BR p(x) ply) 50,0 p(x,7Y) 也 等 于 
O 这样 就 可 以 生意 定义 Tay) RO X; YE, 

15] 这 方面 最 全 面 的 介绍 由 Pinsker[ 24j] 的 前 三 章 给 出 。 
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实 轴 RAP Slee RAO FEE B) f RCS ) 的 组 全 :US = R R i>; 时 
SNS = %. 
这 种 说 法 严格 来 讲 是 不 正确 的 。 在 Pinsker[24] 中 证 明了 KA Y) RAIA X , RA 
SRK A ia) OX, Y) E Radon-Nikodym F du. du, x =, 求 对 数 后 的 期 望 值 ， 
其 中 jp。 古 ( 革 ,了 ) 的 联合 概率 测度 ,而 px =, 是 和 了 的 边 绿 概率 测度 的 乘积 。 因 
HERE, 





d 
HX; Y} = | 2 Ey ) di 
a F 


这 里 所 应 用 的 定理 的 一 般 形 式 是 ,如 果 f(x) 是 连续 的 , 则 | ,f(x) ela) dx = 


fl xo) |， g(x)dx,x € S PREA., (DE Apostol 2] ,定理 14.16.) 

也 许诺 该 简要 介绍 一 下 Pinsker 的 证 明 。 要 证 明 的 结论 是 I(X.Y;:Z)= 70Y;2)5 
HfV3NCX , Y, Z) Markov HEAT Ri. Alt, ase MRA ERE IX Z1 了 ) 为 
IX; ZIY)= KX, Y;Z)- IK Y; Z), BIC BC BA IX: Z| Y) = 0 SARS 
(X,Y, Z) Markov BERTZ, Pinsker 书 中 第 3 章 的 全 部 内 容 都 是 有 关 条 件 蕊 信息 
量 性 质 的 。 他 首先 给 出 了 一 个 乒 半 :2 了 的 抽象 量度 理论 的 定妆 (并 不 是 上 面 络 出 
的 那个 ) ,并 证 明了 很 多 基本 件 质 ,如 TCX; ZY) OCT PER 1.4) 和 I X; ZI Y) = 
KZ TFI 见习 题 1.19) ,并 证 明了 X Z1Y) =0 当 且 仅 当 ( 半 ,了 ,2 ) 是 Markov f 
时 成 立 。 最 后 在 3.6 节 中 证 明了 KX; ZY) = TX,Y 了 ;2) -1(Y;2), 并 将 此 结论 妇 
IH- Kolmogorov。 
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2.1 容量 -代价 函数 


离散 无 记忆 信道 (LDMC ) 由 两 个 有 限 集 合 ( 输 入 土 号 集 A, ,输出 符号 集 AY) ,网 及 一 组 转移 
概率 ply lx SERRE? ply lx ET TIER x€ Ay 和 7 和 4 有 Ap(ylx)>0, 并 且 对 于 
所 有 的 x€ Ay. AD) p(ylx)= 1. 如果 Ay Br TICK. Ay 有 s 个 元 素 ,用 一 个 rxs 阶 随 
HLEN O = (9。) 来 描述 转移 概率 比较 方便 , 它 的 行 由 Ar 标注 ,而 列 由 A, 标注 。 此 外 .对 应 
半 每 个 输入 * ,存在 一 个 非 负 的 数值 5{x), 为 x 的“ 代价” 。 通 常 Ay 表示 为 10，1，…，r- 
1} Ay 表示 为 10，1，…，5 —- 11, 


H 2.1 Ay = A, = 10, ll. 


0 1 
a A 
lip g 


其 中 0<ps 方 , 9=1-p( 这 是 一 个 二 进 制 对 称 信道 ), 并 且 b(0)=0, BU) =). 


例 2.2 Ax = {0, > i}, Ay={0, Li, 


wa 一 后 性 
LU | 


) =0. 


I 0 0 
o=|0 1 0 
00 1 


并 且 80) = b(1)=1, 6(2)=4. 【本 章 后 面 我 们 还 会 用 到 这 些 例题 。) 

这 样 定 义 高 散 无 记忆 信道 的 动机 是 希望 将 信道 假设 为 一 个 设备 , 它 在 单位 时 间 内 接收 一 
Ay x€ À, 的 符号 ,并 且 相 应 输出 一 个 yC Ay 的 符号 。 信 道 是 不 可 靠 的 , 即 输出 不 是 输入 的 确 
ERR piyi EARMA x ,输出 y 的 概率 。 另 外 ,信道 的 使 用 并 不 是 免费 的 ,输入 x 的 “ 代 
Br’ Fa b{x)。 


并 且 b(0)= (1) =1, 6(4 


Ol 2.3 A,=d4,= 10, 1, 2), 
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更 一 般 地 ,假设 在 连续 n PETRA (RIB HRA x), w;, 0, xe TR y, 
Yas ts Yno 无 记忆 的 假设 是 指 i 时刻 的 输出 yy 呈 依 赖 于 i 时 刘 的 输入 x;, 即 给 定 输入 
yyy x, NID yy， 的 条 件 慨 率 是 乘积 [pC la). EI x ，x;,…, x, 的 代价 
EAN: 


b(x) = ` b(x;) (2.1) 
i— | 


如 果 这 z 30 A FR a0 Th RBA pax) = pCa, UU, xo) 的 随机 变量 入 = (X, X, e XK 
描述 ,平均 代价 定 头 为 ; 


E[b(X)] = > ` E[b( X )] 
I] 


(2.2) 
= Y ` p(x)b(x) 


对 于 n=1,，2,…, 我 们 定义 信道 的 n Br EA CDON: 

Cy(B) = max{i(X; Y): E[b(X)] = np} (2.3) 
式 (2,3) 基 对 有 所有 满足 下 面条 件 的 n ERDRE, YO HCN. XL OX te BD 
求 极 大 值 ; 条件 概率 PI1YI1Xi 与 给 定 信道 的 转移 概率 相 一 发 , 即 PLY, = y K = y, | 
X= x px 输入 矢量 外 满足 ELK) s nB。 我 们 称 输入 矢 
fi X 为 一 个 试验 司 源 ;如 果 它 满足 天 [DCX)] 拓 np 我们 称 它 为 8- 容 度 。 因 此 式 42.3) 是 对 所 
有 nn 维 8- 容 度 试验 信 源 求 朴 大 值 , 

下 面 是 关于 函数 CCD AULA. 首先 ,注意 在 给 定 转 移 概 率 答 阵 (p(x1x)) 的 条 件 
BCX SY) REBAR p(x) 的 连续 函数 。 而 满足 Sl p(x)b{x) = E[b(X)]= np 的 分 布 的 集 
Ofer 维 欧 几 里 得 空间 的 一 个 完备 子 集 ,因此 函数 1(X;Y) 实 际 上 能 够 达到 它 的 极 大 值 ”。 这 
RELOD PRET max 而 不 是 sup" 的 原因 。 第 二 ,注意 如 果 我 们 定义 Bi 为: 

Pmin = min (x) (2.4) 
HJ El a(X)len R... 因此 上 (8) 只 定义 在 Se Bw 的 范围 内 。 最 后 ,如 果 8, > p,, W E 
E[b(X)]= n8, 的 试验 信 源 的 集合 是 满足 E[b(X)]= nB, 的 试验 信 源 的 集合 的 子 集 ,因此 
C.(8 )>C El C CO B> B. TBA ze bt eek. 

WEE MEWS EK BR OH: 

CCB) = sup CB) (2.5) 


如 果 单 位 时 间 认 占用 信道 的 平均 代价 必须 <8, 则 CC 8) BME Be ras 8 8 ña AT] q Be OY SE 
输 的 最 大 信息 量 : 这 个 结论 的 精确 描述 , 即 香 农 的 信道 编码 定理 ,将 在 2.2 节 中 证 明 。 本 市 中 
我 们 的 什 务 是 研究 在 给 定 DMC 和 代价 函数 的 条 件 下 计算 CCB) TIE 

首先 证 明 所 有 的 饥 数 C, MEEA NB. 
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定理 2.1 C (DÆ =P, S EDNER, 
证 阴 : 设 al a0, ai+ea=1。 我 们 需要 证 明 的 是 ,对 于 B, ， B Brin A: 
Clafi + of) = aCA + Cn py) 
Ave I X, Fo X, 是 n RARR, Aa A p(x) Fe p(X) 分 别 地 达到 c, F Ch), 
即 如 果 Y PY, ATK X, HK, 对 应 的 输出 , 则 有 : 
E[b(X )] = np, | (2.6) 
KX; Y) = CBD J (2.7) 
AP ELR X, ADRA p(x) =a p(x) + ap O), FRY RMA, Mi 
E[b(X)] = >)  p(x)b (x) 一 i >P (x) bx) + Qs >) p. (x) b(x) = a, EL b (X, ) + 
a, E| b (X lente b, + a; B, L RA(2.6)], TR X#(a,8,+n%)-BE. At X; Y)s 
C (a B tmbh) 但 是 由 于 ICKY) AMAR BR TA p(x) EG BCE 1.6), At 
CX; VY) 2a, MX ;Y ) + a, KX; ¥,) =a, C, (8,) + a,€, (8,)| BA(2.7) o 
FRA] FARMS AB n EB 8 2 (2.5) 3 tE Au A 
定理 2.2 对 于 任意 DMC,C (8)= nC (SSA nal, 2，… 和 所 有 B> Bun 都 成 立 。 
WEAR GK X= (X. , °°, XH -PRA C03) 8 — 3 BE K Ba š WR , 即 
E[b(X)] =. nf (2.8) 
KX; Y) = C,(8) (2.9) 
$PV=(Y,, e, Y) Bm ds idi B HE LOA: 
IX; Y) = 5 I(X;; Y) (2.10) 
i=! 
HERNE B = E[b(X.)], MA: 


Y Bi= Y EIX Y 


r= i=| 
= ELD] ae 


= nf 
进一步 根据 C (8 ) 的 定义 (2.3) 式 有 : 
HO: Y) < Ch (2.12) 
5232.1 3, CIDA 8 @) E. db [1 BHR, iR Jensen RFR, A: 
H Fa) | 
3 Cif) = Cy B33 = C! {ateo0 
j=] i=l 


R, YUm ELN ap HE C,(HA PMLA BK, 
Y CID = nC p) (2.13) 
i=] 





; r HALIDA wad Piha 1 : 

r l -小 x 站 ku ; > eck 1 x Y: i 
zs, š, EE ` = š he ee ; 
` ,7 É ot ED Ts F : foe i ` ' ieee a 1 


a 





— apiu eee eee ee 


= 1 
== eS de ee oe = 


- - 
=o 
kah s> - r M 一 - --- -=F 


ri ME i 


ere ipa a Sinead er i hieran eh K. PACS re i aman = —— ua ore — J a. 
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be > K (2.9). (2.10). A(2. 12) Fo 02.13) ,我 们 得 到 C (8)= nC (n). £ +T E m £ 3 
KWON, YRS C(t) 的 一 对 随机 杰 量 ， 
E[b(X)] = 8 (2.14) 
IX; Y) = Cf) (2.15) 
EX, Xe, X 是 儿 立 . 同 分 布 随机 蛮 量 ,它们 的 分 布 函数 与 王 的 相同 ,并 设 Y, Y,, 
Y 是 相应 的 信道 输出 。 根据 式 (2.14), E[b(X)] = SEY) < n 8 HH IK: 
Y= S]. I(X;Y 了)( 根 据 定理 1.8 和 定理 1.9) = nC1(B), 因 此 C. (0)=nC (8), EERS. 


推论 ”对 于 无 记忆 信道 ,C(B8)= Ci(B)[ 见 定义 (2.5) 式 ],， [注意 : 这 个 结论 对 有 记忆 信道 
不 成 立 ; 见 习题 2.10。1 
现存 证 我 们 讨论 一 下 在 给 定 DMC 和 代价 函数 的 条 件 下 ,台数 C(8) 的 一 般 性 奈 。 我 们 和 若 
道 如 果 px Bs; 则 它 是 一 个 上 升 . 上 同 介 函数 。 它 的 上 凸 性 意味 着 对 于 8> 2. ERRER 
的 ;参见 附录 BCEE 8= 8 点 也 连续 ;见习 题 2.53)。 现 在 将 讨论 当 吕 足够 大 时 ,C08) 实 际 二 
是 -一 个 常数 。 定 义 Cu. = maxi C( 8): B= B... Bh 
Cmax = max{ HY; Y)) (2.16) 
其 中 的 极 大 值 取 值 于 所 有 的 (1 维 ) 试 验 信 和 源 , 不 受 ELODO. CLANS SE. 
mRRN EX: 
Bmax = min{ E[b(X)] : (X; Y) = Cmax) (2.17) 
则 显然 对 于 所 有 Be Be A CCB) = Ci 而 对 于 有 < Bows A CCB) < Como H T 8> Pw 时 
CODBEA ALANA 3EB pefu] CORE - PRR RA A C(B) 在 Bain = B= B... Tü 
围 内 实际 上 是 严格 土 升 的 (见习 题 2.6)。 因 此 在 这 个 区 间 内 COPA eA, 
C(B) = max{ HX; Y): E[b(X)] =£}, Bam = B = Pmax (2.18) 


最 后 ,我 们 来 计算 C( Bon) = Cano :个 试验 信 源 为 B. - ARE. HERA b(x)> Pow 时 它 
的 p(x) =0, 即 它 只 使 用 代价 最 小 的 输入 。 因 此 Ce 是 简化 信道 的 容量 , 它 删 除了 原来 全 道中 
所 有 bx) > Bw 的 那些 输入 。 

综合 所 有 这 些 事 实 , 我 们 看 到 典型 的 C08) 曲 线 应 该 如 图 2.1 所 未， 


| Bon E Bra 
图 2.1 和 典型 的 CCB) RHEE 
ol > .1( 2} 
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b(0)=0, b(1)=1, 9 g. =0, 科 化 信道 只 有 一 个 输入 0, 因此 Ca, = C(0)=0, i X 
是 一 个 在 0=8= B. 范 园 内 达到 C(PB) 的 试验 信道 ， 则 [ 见 式 (2.18) | 必然 有 PIX= 1! = 
B, P\X=O0l=a=1-f,m C(B)=1X;Y) = H(Y)- ACYIX) = H(ag + Bp) - Ap). 


由 于 再 (x) 在 = 六 时 达到 它 的 极 大 值 log2( 参 见 图 1.1), 故 可 知 H(aq + Bp) 在 B= 方 时 


达到 它 的 极 大 值 log 2。 因 此 pa =y À CCB) RH b 8 SILA 2.2) 由 下 面 的 表达 


式 给 出 : 
All -A¢+fpl]-— Alp), epeal 
C= no (p) eh 3 
— 
图 2.2 #|2.1 P CC s)he 
例 2.2{ 续 ) 


hi — 


0 
o= | | 
l 
b(0) = 6(1) =1,6(5) =0。 这 里 Py = 0, 因 此 同上 一 个 例题 一 样 , C(0) = 0。 设 下 表示 
#O<0< B. 范围 内 达到 C(B) 的 试验 信道 的 一 个 给 入 ,并 且 设 x =0, 5, 1 时 ,p(x) = 


PIX=x|。 现 在 1(X; YAM pO) p4) ,PCD) 是 上 上 西门 的 ,并 且 瑟 [5(X)] = (pO) + 


p(1))48 pOf pfl) 是 对 称 的 ,因此 必然 有 Pt9 = pC) = 08/02, A IX; Y)= HCY) - 
(YIXY)y=log2-({1-pB)log2=Blog2。 因 此 有 .=1,C(08) 的 曲线 (参见 图 2.3) 由 下 式 


给 出 : 


这 表明 在 及 =< p< p. 范围 内 ,C(8) 并 不 一 定 是 严格 上 西门 的 。 


"z 
| 


图 2.3 2.26 c( see 
例 2.3!( 续 ) 
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b(O)=bC1)=1,4(2) =4, 设 上 六 是 达到 C(B) 的 试验 信道 的 一 个 输入 ,并 设 w = PIN = il, 
i=0,1, 2. W C(B8)= H(Y)- H(YIX)= HCY) = HOX) = Hag, aí, a), HLM T 


Brum SBS B. PLUCK) l= a,+e,+40,= 8. BR B. =1, 简 化 信道 的 输入 共有 0 和 l, 
相应 的 转移 概率 为 ， 


这 个 信道 的 容量 ( 见 例 2.]) 是 lng 2, 因 此 C1) =log2 FE CL, = maxi Hiao, Qi, a>)! =log3, 


其 中 ap = ay = a2 = y (定理 11) FI Baw = +3 +5 =2,C = lg 3, 对 于 Le p=2,22% 30 
在 满足 ag + a, +da, = B RETR Alay, a), a, ARAM. KP ay 和 a, 是 对 称 的 ,因此 
我 们 设 al =a, zao = l-2, MRE a = 73- Bi6, 因 而 对 于 1sBa2, 有 C(tB)= 
H(2/3 - B16, 23- 816，813-13)。C( 全 的 曲线 见 图 2.4。 习 题 2.3 是 例 2.1 和 例 2.3 的 一 个 





图 2.4 fA 2.3 rB C(8)BJBB SR 


本 节 的 最 后 ,将 介绍 一 个 计算 容量 { 即 C u ) ER, Be BE RH M 2 W eee 
有 高 度 的 对 称 性 。 如 上 虹 随 机 矩阵 Q 的 每 一 行 都 是 其 他 行 的 一 个 置换 ,同时 每 一 列 都 是 其 他 列 
的 一 个 置换 ,我 们 就 称 Q 是 对 称 的 。 如 果 一 个 DMC 的 转移 概率 矩阵 是 对 称 的 , 则 DMC 就 是 对 
称 的 。 

例如 ， 


he S fee 
ad a bd 
wl G| 
L... 


是 对 称 的 ,而 


IO 

ji 
Ol wl 
haa] L-I 
T= T= 
ust oh) 


却 不 是 (见习 题 2.2)。 
定理 2.3 如 果 一 个 对 称 DMC 有 r 个 给 入 、 个 输出 , 则 输入 等 概 , 即 p(x)=1ir, xC 0, 
lce, r- LIR DME 达到 它 的 信道 容量 ,容量 是 : 
Crux = logs — (gn, i, l 4 ú) 
BPC gos dis > g EEE ERAT. 
证 明 ,1(X; Y)= H(Y)- H(VIX), H(YIX)= > p) HCY I X = x), Ah THE 
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阵 的 每 一 行 都 是 其 他 行 的 一 个 置 撞 ， 


H(Y|X = x)= Y pty|x)iog a Ago, gis ---3 Fs-1) 


l 
p(y|x 
是 独立 于 YY 的。 另外 根据 定理 1.1. H Y slg, FRASERS p(y)als, RP yE 
10, 1,，…，s -1 下 -但是 ,转移 概率 姓 阵 的 列 的 性 质 确 保 qa Rt FA x. A p(x) = Isr, 
则 对 于 所 有 的 Y, 有 Pfy)= 1/sn。 


例如 ,前 面 给 出 的 具有 对 称 转移 矩阵 Q 的 信道 有 Co = log 4- 如 [本 ,本 ,二 ,二 | = 


log (2 3 ) =0.081 7 bit。 一 个 更 普遍 的 例子 是 r 进 制 对 称 信道 , 它 的 转移 概率 矩阵 是 一 个 
rx r 阶 矩阵 ,满足 q. =e( 如 果 ry), gp =1-(r-DeiRa=y) HPOseel/{r-1), 
r = 2 时 就 是 我 们 熟悉 的 BSC: r =4 时 的 转移 概率 矩阵 如 下 : 


| — 3¢e £ £ £ 

£ ] 一 3e £ E 

= £ £ | — 3E E 
£ E E ] — 3¢ 


根据 定理 2.3,r 进 制 对 称 信道 的 容量 是 logr- 呈 1-(r-lis, £. + , €] =logr + (r - Leloge + 
(l-ret+e)log(t-re+e), [习题 2.3 中 纵 出 了 一 种 计算 + 进 制 对 称 信道 容量 -代价 尊 数 
C(B) 的 方法 。] 


2.2 信道 编码 定理 


根据 2.1 ASE, WSR X = (X, X,, 0, XR BE DMC 的 连续 wn 个 输入 ,而 Y= 
(Vi, P,e, POX MEJAH , M n F(X; Y)= Cas MBA] EPH IX; OERA 
解释 ,这 就 表示 ,信道 在 单位 时 间 内 至 多 能 传输 C。. 比 特 的 信息 ”。 另 一 方面 ,如 果 XER 
个 达到 CC Bue) = Ci 的 试验 信 源 , 则 (X; ¥) = C. . ,这 意味 着 如 果 应 用 合理 ,信道 在 单位 时 
间 内 至 少 能 传输 C。 比 特 的 信息 。 因此 Cs 应 该 代表 在 信道 中 传输 信息 的 最 大 速率 。 更 一 般 
地 讲 , 对 于 任意 B> Bw ,如 果 平 均 输 入 代价 必须 志 B,C(B) 应 该 代表 在 信道 中 传输 信息 的 最 大 
速率 。 我 们 本 节 的 目标 就 是 明确 这 些 直观 的 推断 。 

设想 一 个 实验 。 构 造 信息 源 序 列 口 = (DU，U;,,，…，Ui), 序 列 的 各 个 分 量 由 独立 、 同 分 布 


的 随机 变量 组 成 ,具有 相同 的 概率 分 布 函 数 PLU =0| = Pl1U=1| = 之。 我 们 的 目的 是 在 信道 
中 传输 这 "比特 "信息 , 共 利 用 入道 n 次 ,平均 每 次 的 代价 万 PB。 W X= (X, X,, =, X, )E 
相应 的 信道 输入 ,Y= (CY ，y,,…， 六 ,) 是 信道 的 输出 ,而 召 = (0... Ë ) 表 示 接 收 者 对 亲 的 
秸 计 , 我 们 假设 它 只 依赖 于 YY( 见 图 2.5)。 
u— x 一 ~ — v 
图 2.5 一 个 设想 的 通信 系统 


假设 这 是 一 个 相当 可 靠 的 系统 , 即 对 于 所 有 的 i, 有 P1U «Ul <e, 其 中 i 是 某 个 很 小 





-Li — ee pe ey ee 
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的 值 。 则 根据 定理 1.8, KU;D)> 27 AU; 0) JE H BE Fano 不 等 式 (定理 1.2 的 推论 )， 

u;0)=H(U,)- H(U 1Ü = le 2- H(U 1G) log 2- He), Abbe ICU: Ü) > 

8[L1- 瑟 (es)]j。 再 根据 数据 处 理 定理 [ 式 1.15)],700; V)< IX: Y)。 最 后 根据 式 (2.3)， 

KX; Y)= C, (8) = nC(p). 综合 这 三 个 不 等 式 , 我 们 有 (其 中 对 数 运 算 的 基底 是 2): 
k CB) 


一 & 


n 1— Hye) 

比率 kin 称 为 系统 的 速率 ,根据 设想 的 通信 系统 实验 , 它 表 示 每 次 利用 信道 所 传输 的 比 
特 数 。 边 界 (2.19) 式 是 误 比 特 率 6 BU APR. PRICE Ta: E RAHENA ñ EB 38 
信 可 靠 , 就 越 应 该 降低 传输 速率 。 从 数量 上 来 讲 , 式 (2.19) 说 明 , 如果 使 用 信道 的 平均 输入 代 
价 三 B, 并 且 希 望 设 计 一 个 速率 r> C18) 的 系统 , 则 最 终 错误 概率 e 的 下 界 为 eH [1 - 
Ctp8)jrl>0。 即使 没有 代价 约束 ,如 果 r> cee H;'(1- C.a fr)>0O, MOF, 3 ik 
率 高 于 信道 容量 时 不 能 实现 可 靠 通信 。 

速率 低 于 2418) 时 会 怎样 呢 ? 式 (2.19) 不 能 提供 任何 有 意义 的 帮助 ,因为 如 年 kin < CCB), 
所 有 的 8 半 0 都 能 使 式 (2.19) 上 成立。 但 这 并 不 是 问题 ,因为 我 们 现在 将 证 明 , 如 未 六 < CCB) 
并 且 s >0, 可 以 成 功 地 设计 出 上 述 类 型 的 通信 系统 ,满足 平均 代价 志 B. kin > R, 3 H 
Plt U, <e 对 于 任意 的 i 都 成 立 ! 香农 的 这 一 惊人 结论 称 为 信道 编码 定理 。 这 个 结论 的 
关键 是 构造 一 个 码 ,我们 现在 就 来 拉 述 一 下 。 

给 定 整数 n ,一 个 取 值 于 Ay BREH n 的 {信道 输入 ) 码 是 4 二 的 一 个 子 集 C = Ix. x, e, 
xulo BIDEREN r= (fn)logM 一 一 如 果 对 数 运 算 以 2 为 基底 ,速率 的 单位 是 比特 每 ( 信 
道 输入 ) 符 号 。 如 果 对 于 所 有 的 iA bx) = 3) bly) en, WBE p - 容 度 的 ,其 中 
X — (xi, Xn) 是 组 成 分 量 的 展开 . 

码 C 的 译 码 规则 是 映射 站 47 -*CU1?|。 特 殊 符号 "?” 表 示 详 码 失 败 , 它 的 特点 将 在 下 面 
表现 出 来 。 

On SAR ,按照 图 2.5 中 的 方式 ,可 以 设计 一 个 通信 系统 。 设 不 是 一 个 整数 BE k= 
log M MHU 2: 个 可 能 的 信 源 序列 中 的 每 一 个 分 配 一 个 不 同 的 码 字 x, *“ 。 所 有 可 能 的 信 
MIER C 的 一 一 上 映射 称 为 编码 规则 。 如 果 被 传输 的 信 源 序列 是 = (a, oo. a) OE 
味 闭 要 遂 过 编码 规则 将 下 编码 为 一 个 但 字 x ,并 通过 信道 传输 xo TRENA T x, 
的 噪声 样本 , 称 它 为 yY。 接 收 者 通过 译 码 规则 SO y 译 为 码 字 x, (sR227); i u AT 0 eS 
码 字 x, 对 应 的 惟一 信 源 序列 (如 果 存 在 ), 假设 传输 的 是 x ,系统 的 错误 概率 表示 为 P ,由 
PRAM: 





(2.19) 


Pe = P(f(y) Z x} 
= $ (p(ylx) : f(y) ¥ x} 


其 中 p(ylx,) = IL, ply, 1x,) 是 信道 转 称 概率 矩阵 O oH Xf far IR HJ HE F. 


在 表述 和 证 明 编 码 定理 之 前 ,我 们 将 通过 三 个 相当 初级 的 例子 来 说 明 编 码 过 程 。( 本 书 
第 二 部 分 的 任务 才 是 给 出 商 级 的 例子 人 


(2.20) 
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例 2.4 A,=A,=10, 1: 
a P 
= j i 
b(0)= (= 以 这 是 一 个 没有 葵 入 代价 约束 的 BSC), Ben = 3, M=2, C = 1(000), 


CIELE 速率 = 比特 每 符号 。 译 码 规 则 ;fy yy.) = (xxx), BP royn 和 YY; 的 
“多 票 判 决 ",， 很 容易 证 明 PL = PP? = 3p° -2p， a p< l ,该 值 小 于 原始 的 错误 概率 
Pp, 并 且 当 的 值 非常 小 时 ,效果 更 明显 | 见 式 (0.1)]。 

] 


例 2.5 Ay={0, 2.1] Ay = 10, 1, 


5(0) = b(1) =1,b( $) = (这 与 例 2.2 相 同 )。 编 码 :C fÀ n te Ge Ge 2): 
x =0 或 1， i =1,2,…， |。 这 里 上 是 菜 个 nn 的 固定 整数 而 于 = 竺 。 编 码 速 率 是 kin 比特 
Bey. WTR A Be kn, ZADE p- ER AMF y’ S” yn) = 
(yas y E, 。 RESTA ¿ Pip =0( 见 习题 2.11)。 

例 2.6 Ar=]0, 1 A, =10, 1, 2, 31, 
b(O) = B(1) = 1( 这 是 前 面 提 到 的 "对称 "信道 )。 编 码 :n = 2, M=2; C= 1(00), (11)}, 
速率 r= 广 比 特 每 符号 。 译 码 规则 由 下 表 给 出 ; 


TT | 一 
tam 号 | 
wie | 一 


für. yU)" 


译 玛 既 阵 中 的 第 
(+. 411) 项 





这 里 po =<, i= 1, 2( 见 习题 2.12)。 


现在 回 到 边界 (2.19) 式 ,我 们 要 做 的 是 ,对 于 给 定 的 8 值 .R< C(tB) 和 6 >0, 设 计 一 个 
Line RR 的 系统 ,满足 对 于 所 有 的 i PIU Ut <e。 从 前 面 的 讨论 看 到 ,这 需要 寻找 一 个 码 
长 为 n 的 码 C ,以 及 相应 的 译 码 规则 , 满 昨 Me AR PP < (对 于 所 有 的 O. PRE 
表明 这 是 可 以 实现 的 。 
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定理 2.4 设 一 个 DMC 的 容量 -代价 函数 为 CUB). M aP EE B, >B FRR B> ha, 
R<C(8), e >0, R Pf 8 X iW K 6 n A, AFA PBR n HRC = Ix, xy! 
和 相应 的 译 码 规则 ,使 得 : 

(a) 每 一 个 码 字 XW BaP - SA. 

(b) Mer". 

(e) PE <e, 对 于 所 有 i=l, 2, °°, M. 


推论 (DMC 的 信道 编码 定理 如) 对 于 任意 用 < Ce >0, 存 在 一 个 码 长 为 nn 的 码 C= 
IX). ttt, XXy| 和 相应 的 译 码 规 则 ,使 得 ， 


(a) M2 l. 
(b) PY <e YTA i=l, 2,07, M. 
(推论 移 } 证 明 ; 在 定理 2.4 中 设 B= B... 
(定理 2.4 的 ) 证 明 ; 在 整个 证 明 过 程 中 ,认为 于是 一 个 足 铝 大 的 整数 。 后 面 将 给 出 更 精确 
的 定义 。 
者 上 钳 所 有 长 度 为 nn 的 信道 输入 序列 广 = (x1，"…， x ) 和 信道 输出 序列 = 《7Y)，…，Y) 组 
成 的 [X,Y) 序 列 对 的 集合 OF, RASH Q-A x 41。 我 们 通过 直面 的 定 多 将 晤 放 入 
一 个 样本 空间 
PAX, y) = p(x)p(y|x) (2.21) 

这 里 p(x) = p(x p(x,) ,其 中 (x) 是 41 上 达到 CU8) 的 一 个 概率 分 布 ;而 plylx) = 
p(y lari p(v lx.) AP p(yix) 是 司 道 的 转移 概率 。 
现存 选择 满足 RR COR) R' ,并 定义 子 集 TC 和 如 下 : 

T = {(x, y) : T(x; y) = nR') (2.22) 
其 中 Hx; y) -logd p(ylx)/p(y)], A 了 可 以 看 做 是 通过 某 种 方式 联系 在 一 起 的 序列 
对 的 集合 (习题 2,]7). 另外 ,定义 子 集 BS AL: 


B = {xX: d(x) = fn} (2.23) 
这 里 上 是 8- 容 度 码 字 的 集合 ， 最 后 ,定义 集合 T = 了 为 : 
T* = lx y):(x ye T .x 6 Bl (2.24) 


现在 设 C= lx, Xt, X | RPR. GES n HEE, 我 们 定义 如 下 译 码 规则 。 
do PICS) y MRS: 

S(y) = {xX : (x, y) € T*}CB 
(可 以 看 做 是 环 弱 了 的 一 个 “球体 "。) 如 果 S(8) 仅 包含 一 个 码 字 x, WR fly) =x. F 
则 ,由 于 S(y) 不 包含 码 字 或 包 仿 不止 一 个 码 字 , 故 可 以 设 定 fly) =x, PST — A 
错误 11。 图 2.6 描述 了 译 码 规则 。 
如 果 对 码 C 采用 刚才 描述 的 译 码 规 则 ,假设 发 遂 的 是 而 接收 的 是 y, SARS, ES(y), 


| 
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或 者 ES(Y) 而 j= i 时 出 现 错误 。 因 此 [ 见 式 {2.20)]， 
M 
Pe < Pix; é S(y)} + > P{x, € S(y)} (2.25) 


j=l 


sy) 





Fiy) x, fiya 


SLY) 
fO) ? 


图 2,6 定理 2.4 证 明 中 荣 用 的 译 码 规则 
将 式 (2.25) 表 示 为 更 方便 的 形式 ,我们 定义 集合 了 的 示 性 函数 如 下 |: 


* 
aeni, IR 


(x, y) é T* 
r eee (2.26) 
一 ， (ye 
A(x, y) = 
| IÇ, œ yér 
现在 式 (2.25) 可 以 表示 为 : 
py = Y AGG, y)p(y[x;) + > 5` A(x;, y)p(y|x;) 
y ji Y (2.27) 


= Xi e X) 

我 们 的 目标 是 寻找 到 一 个 砚 | 加 ，…，xXy| 18 t Q. 的 值 对 于 所 有 的 ER v. AR 
的 是 ,Q 是 一 个 非常 复杂 的 函数 ,不 能 够 精确 计算 (甚至 近似 个 计 ) ,除非 是 最 简单 的 码 

m RE n Ba M 6545 3684 K 65 S 380) 那么 前 面 为 什么 还 要 引入 界 PE =S 0, 4%? 原 
因 是 ,尽管 对 于 一 介 特 定 的 码 不 可 能 估计 Q. E Y ix, e, xz RETA T AE ig 
时 ,可 以 估算 出 O. 的 平均 值 。 令 人 吃惊 的 是 岂 ,如 果 开 =22 并 且 m>o, 这 个 平均 值 将 
ASG Ol 这 个 著名 的 证 明 方 法 被 称 为 随机 编码 ,因为 我 们 是 根据 一 定 的 概率 分 布 "随机 
地 ”选择 码 |X xy | ,现在 看 一 下 它 的 细节 。 
第 一 步 是 适当 地 描 杰 所 有 可 选择 码 的 概 府 分 布 。 它 是 : 





' on . 
a eee Se p e i he er ert des a e 


mee w — — 
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M 
pty, Xu) = TELS 
i=l 


这 里 如 来 K. = (x, Ming + x. ), pix, ) = II... plxs)o 这 个 概率 分 布 对 应 随机 地 选择 
码 的 实验 ,就 是 禄 据 达 到 C(B) 的 概率 分 布 ptx) 独 立地 选择 各 个 码 字 的 每 一 个 分 量 。 
现在 将 Ox, Xy ) 看 做 所 有 可 选择 码 样 本 空间 上 的 一 个 随机 变量 , 它 的 期 望 值 是 [ 见 
式 (2.27)]: 


EQ) = r Pa AX; pa +> E p A(x;, vas) 
Ai y 
= E] 十 >` EY 


jz 


(2.28) 


首先 给 出 EHF: 
Ë 


Y pO)... pew) > A(xi, y)p(y|x;) 
Y 


K1.... M 


5 ` p(x)p(y|x JACK, y) 


X/,Y 


=Y p(x, NAG y) [ 见 式 (2.21)] (2.29) 
zy 


一 Pla, y) T”) [ PA(2.26)] 
= Pix, p éT o xg B} [ RA(2.24)) 
< P{(x, y) é T} + P[x # B) 
因此 ， 
E =< Pia y) < nR'] + Pba) > Bn} [# R.K. (2.22). A(2.23) A, (2.29) 
但 是 ， 


p(y|x) 
p(y) 


p(yx|xk) 
一 | 人 
la II PL) 
> ng PCUVEAXE) 
piy} 
= DE ve) 
fal 
因此 ix; p n MMA PR ARNEE (ys Yi) 的 和 。 REEL, ELI (as I= 


I( X; y) = C(B,), 因 此 每 个 Tx; yi) 的 均值 为 CC Bp) 由 于 R < C(8,) 183635 K 3k E 


I(x, y) = log —— 


lim Pí f(x; y) < nR') =0 (2.30) 


ES o 
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EJIE, h(x) = Dias h(x, Æ Ft AS fe lop h Hh = ñ, 的 随机 变量 的 和 ， 由 于 B> Bs 
有 : 
lim Pi a(x) > np} = Ü (2.31) 
结合 式 (2.29) 、 式 (2.30) 和 式 (2,31) ,我 们 看 到 通过 选择 足够 大 的 nn 值 ,可 以 使 E, 的 值 尽 
可 能 地 小 . 
直面 再 考虑 式 (2.28) 中 的 EY 项 


E= S Hoaas yplyix) 


NI. -Au 


— > PAX )A(X F) > P(X:i)p(ylx;) 
Raed x, 

= pix pA, y)p(y) 
X .Y 


因此 ,根据 式 (2.26) 和 去 (2.24)， 
Ey < > PAX) Ply) (2,32) 


(xy) T 
现在 对 于 (Xx, YE TA ppp eap, yp [M K (2.22)]. Bot (2.32) 3 F vee 
续 写 做 ; 
EY = $ PPO 


ine 
se as a y p(x. y) (2.33) 
(x.y)ë T 
= J -R'H 
最 后 , 结 介 式 ([2.28)、 式 (2.29) 和 式 (2.33) ANIA: 
E(Q,) = P{i(x; y) < nR') + P{b(X) > nB) + M-27" (2.34) 


to Madd) X (2.34) PRB Had E, BT ROR AAR n X 
K -ATAATA MILAM RS RA (2.30) Fe A (2.31)] FR HEB IK 
SE, QT aA n 值 ,满足 M272 ,使 得 ; 

E(Q) <€/2 (2.35) 
这 几乎 就 是 我 们 所 需要 的 。 
证 明 中 的 最 后 一 步 是 定义 一 个 函数 P.(x , `, X) A: 


FPEX je Xu} = = 5” PAn ° ' (2.36) 


这 里 P 是 一 个 总 的 错误 概率 ,假设 M 个 码 字 的 传输 概率 都 为 1 用。 如 果 我 们 认为 P; 是 
定义 在 所 有 码 样 二 空间 上 的 一 个 随机 变量 , 则 根据 式 (2.27) 和 式 (2.35), 对 于 M = 2-2" 和 
AKH n fh, RIN: 

E( Pr) < £/2 
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WLP, WEA < /2, Bah E f A eS (x , `, Xe) EY Pele, oy 其 < E12 
这 个 码 也 许 不 满足 定理 2.4 的 结论 ,因为 它 可 能 包含 一 个 码 字 和 ,该 而 字 的 b(x;) > B 和 / 
A PE > e。 但 是 ,如 果 超 过 半 教 的 码 字 的 PE ee, g (2.36), AMAA P, > = /2 的 
FR, Abe RA PH Pi > 的 码 字 ,将 得 到 一 个 码 宇 数 汪 2 的 码 , 对 于 所 有 
y i dR PR ce il 可见 这 个 码 满 足 定 理 2.4 的 结论 fb) 和 (ce)。 最 后 ,注意 如 果 b(x,)> 
ng, 译 码 球体 SCy) = ix: (x. y)E THE b (x) = B| F fi 8 rx. Pp PE =1。 由 此 可 知 新 
的 硒 不 能 包含 任何 不 是 月 - SAS, Ta) LAA. 


习题 


2.1 


2.2 


2.3 


HA TIERA BAC aR: 


10 0 
(a) gal q i b(0)=1, b(1)= b(2)=0. 
Ü p 4g 


W =[2 2]. oso y=. 


[ Cb) 9 S PR A — ak h m 1S, EAP BH yË : 


tí 


ü (Ü) 


P 
p 


l 1 
q 


输入 的 符号 可 能 被 正确 接收 或 删除 ( 即 接收 到 ”> ) ] 

我 们 称 这 样 的 信道 是 能 对 称 的 :如 果 它 的 转移 证 阵 Q 的 列 可 以 被 划分 为 者 干 个 子 集 C,， 
对 于 每 个 i, H C, 中 的 鹿 组 成 的 矩阵 O 中 的 每 一 行 都 是 其 他 行 的 置换 , 列 也 是 如 此 。 
(例如 ,前面 好 是 弱 对 称 但 不 是 对 称 的 -证 明 当 输入 等 概 时 能 达到 能 对 称 信 起 的 容量 。 


我 们 定义 r 阶 强 对 称 信道 为 r=4 时 具有 如 下 形式 转移 矩阵 Q 的 信道 : 
q PPP 
P q p p 
p Pq pP 
p p P Q 








H oslUrHB(r-l)p+q=1, 这 道 习题 的 月 的 是 对 应 任意 的 输入 代价 b(x), 通 过 下 
面 补充 的 细节 ,来 计算 出 这 个 信道 的 C(8)。( 假 设 B. = 0; WATE 2.4.) 

如 果 y B— TKS) CCB) ARR x C 10.1.0, - 1) f(s) = PIX = x1, gle) = 
Pl|Y= xl. WG /(z)=[zg(x)-pl(a- p) MARL ba) f(s) = B SRT bagla) = 
Alg—p)+ Bo. B= Dba). HXs:¥)= HCY) -H(¢)-(1—- q)log(r - 1), Fr UB 
标 是 在 满足 于 b(x)g(x) = 8(q -pp) + 即 的 条 件 下 使 HH( 门 最 大 。 为 此 可 以 利用 习题 1.8 





2.4 


2.5 


2.6 


2r 
2.8 


2.9 
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aE HA El S SAAR: 
C(B) = log A(A} — AAAA) — Hla) — (1 — q)log(r — E) 


B= —-—_(a'()/A(A) + Bp) 
gq — P 


其 中 ， AER a AC [A .,0],8 FAIR ALO, (1/0) Bl Ay 十 方程 A Ago ACÀ) = 
— Bp WJ If, 

本 习题 的 目的 是 ,证 明 假 设 8 =0 是 不 失 一 般 性 的 。 如 果 给 定 一 个 信道 , 它 的 容量 - 代 
价 函 数 CDA ba >0, 令 C(p) 表 示 相 同 信道 的 容量 -代价 函数 ,在 这 个 信道 中 所 有 的 
代价 都 降低 了 Bano 证明 CC 2) = C'È- Bando 

本 习题 的 目的 是 证 明 C(8) 在 B= 8 处 连续 。 为 此 补充 了 下 述 细 琅 。 

今 (pi ,pp ,…) 是 一 个 概率 矢量 序列 ,表示 达到 C(B),C(B,),… 的 试验 信 源 的 输入 概率 分 
布 ,其 中 lim -有 = pu。 则 存在 一 个 收 敏 于 概率 矢量 p 的 子 序列 (ps Pa) MUR 1 
是 一 个 输入 分 布 为 p 的 试验 人 入 源 , 则 E[5(X)] = Ga B. IX; Y) = limp. CCS). 因此 
C(B..)>lims. a: CCB). HAF CCB) B> B. 的 上 升 函数 ,这 就 证 明了 要 证 的 连续 性 。 
Bf) y> x, 的 上 升 上 同门 函数 。 假 设 x) x> x, 时 为 常数 ,其 中 x, < ao UE 
HH x = x= x, BJ fx) 是 严格 上 升 的 。 

尽 可 能 全 面 地 描述 C... = 0 的 DMC 性质 。 

定义 具有 转移 和 矩阵 0 ,0,,…, 0; 的 DMC 的 和 为 具有 如 下 矩阵 的 信道 





如 果 CORRE i 个 信道 的 容量 ,证 明和 信道 的 容量 为 ; 

Cmax = loge y 20mm bits 
KERA DMC ,输入 符号 集 为 AO ,输出 符号 集 为 AY ,转移 概率 为 p lla) TRAM 
ple) il12。 定义 它们 的 积 为 这 样 的 信道 :输入 符号 集 为 4% x Ay ,输出 符号 集 
% AP xA? ,转移 概率 p(n. 92) (Crm) =p (Cm lay ep” (y, lz) 代价 函数 
bí x, ' Xa) 一 ae (x,) 十 Bi (xao (ye F Baue HAEA. EA a 
的 容量 -代价 函数 为 : 

C(A) = max{ CID + CAA- t}} 
H Hue 84 a| We A C, 8) C, (8) E932 48 I) RA bn tl HTT FF C ( wy 
沿线 。 
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2.10 (一 个 简单 的 有 记忆 信道 的 容量 ) 设 2 ,2;,… 是 具有 相同 分 布 的 随机 变量 ,并 且 是 一 个 
到 值 于 10,1,…,r 一 1 的 Markov 链 ( 参 考 习 题 1.20). 根据 规 刚 了 二 XX + 2Z,(modr) ,可 用 
Z KE- Ay = Ay = 10,1,…, r+- 中 的 加 性 信道 ,其 中 苇 #l Y. 是 i 时刻 信道 的 输入 
种 输出 。n 维 容量 定义 为 Ci = mal I(X;Y)! 4 X Boll z 维 试验 信 源 。 而 容重 为 Cm = 
supilin C2 , HEAR cu = nlogr ~ H(2Z,,°,Z,) = nlogr - H(p- (n - DRE, Fri p E 
描述 Z, 共同 分 布 的 概率 矢量 ,而 RA. HEH C =logr - H. PRISE h 
用 于 下 述 情 况 :r = 2. Ee eh PRLS Q 给 出 


2 人 


对 于 例 2.5 中 的 信道 和 代价 函数 ,明确 说 明 如 何 能 达到 编码 定理 所 保证 的 内 和 容 , 即 给 出 
一 个 码 C 的 准确 描述 ,使 其 其 有 定理 2.4 中 的 性 质 (a),(b) 和 (ec)。 


2.12 完成 例 2.6 的 细节 部 分 ,并 说 明 如 何 改进 译 码 函数 使 之 达到 P = 3 ,其 中 i=1,2。 


2.13 在 证 明定 理 2.4 时 我 们 对 于 --- 个 确定 的 码 C= ix. x Ah Y — AR AR 1H 
这 个 规则 ,虽然 能 够 满足 我 们 的 要 求 ,但 却 不 是 最 佳 的 ,在 实际 中 很 少 使 用 。 在 这 里 将 介 
绍 和 研究 另外 两 种 译 码 规则 ,它们 比 定理 2.4 中 的 揭 好 但 也 更 难 分 析 。 假 设 传输 x, 的 
概率 为 rm ,i = 1,2,…, 展 。 给 定 接收 矢量 y, 最 小 错误 概率 译 码 (MFD) 是 选择 使 条 件 概率 
p(x, 1y) 最 大 的 码 字 。 最 大 似 然 译 码 (MILD) 是 选择 使 piyli DRAWS. 
(a) 证 明 MED 和 名副其实 , 即 给 定 接收 到 的 了 ,根据 MED 可 使 译 码 器 的 错误 概率 最 小 化 ， 
因而 也 使 平均 错误 概率 p. = X] pP2 最 小 化 了 。 
(b) 证 明 如 果 对 所 有 的 ip = UM, Mi MLD 与 MED 的 性 能 相同 。 
(e) 在 BSC PLEX x Sy MRA d(x, 7) 为 它们 之 间 不 同 码 元 的 个 数 。 证 明 MLD 
译 码 器 总 是 选择 与 了 没 明 距 离 最 近 的 码 字 x, (We 2.17 和 7 了 .3 节 )。 
2.14 (SE) RABE 4 B10, 11 FSS: x, = 0000, x, =0011,% = 1100, = 1111。 假 设 这 些 


码 字 以 不 同 的 概率 送 往 BSC (错误 概率 为 p) 中 传输 , Pix! =, Pin} = Pint = 2 


2.1 


El 


Pix = 二 。 寻 找 一 个 泽 码 规则 ,使 得 P = 5 PP g PP +g Pl +g PP 最 小 。 

2.15 证 明 如 果 B, > Bon ,就 可 以 将 定理 2.4 中 的 结论 (a) 替 换 为 “每 个 码 字 是 8, - 容 度 的 ;如 
E. B, < Bo HRT LAE ERIC (b) BRON Me 2 Po” 

216 HOUTA REGEAR = p, EER K ARA < BBM CCR) = 
sup | FOX; ¥):6(X) <2 的 概率 为 11。 IRA 2.1.8) 2.2 和 例 2.3 的 C(8)。 编 码 定 理 对 
COP) 仍然 成 立 吗 ? 

2.47 对 于 一 个 BSC ,证 明 式 (2.22) 中 定义 的 集合 了 的 形式 是 了 = ls y):d,(x, Pari :其 中 


d,(x, y) 是 x 和 YY 之 间 的 汉 明 距离 (< 即 x 和 和 y 间 不 相同 码 元 的 个 数 ) ,找到 用 n, Roe ,以 
及 信道 转移 概率 表示 的 +。[ 假 定 p(x=0) = p(x=1)= 方 。] 
2.18 设 2 为 有 限 集合 ,并 设 f 是 一 个 将 名 映射 为 实数 的 函数 。 证 明 存 在 一 个 元 素 wo EQ, 


| 


£ a i = oe. 
Pe ea ee sie Oe eee Te irha riia T a er dar eh ias LA R ae s "Y 


a 


i 
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得 fla) < 的 充分 必要 条 件 是 ,可 以 定义 一 个 最 上 的 概率 分 布 使 得 EL fw) | < y. 
2.19 考虑 具有 如 下 转移 概率 下 阵 的 DMC; 


; 5 00 0 
0 + 400 
O=|I0 0 3 iQ 
000 4 4 
$60 O 5 


[ARERR BIRT AAD x, blr) =0, | 
(a) 计算 C... 
(b) 寻找 一 个 码 长 为 上 .速率 为 log 2 的 码 ,使 得 对 于 所 有 的 i ,PY = 0, 


(e) 寻找 一 个 码 长 为 2. 速 率 为 二 log5 的 码 ,使 得 对 于 所 有 的 i, PP =O. 


(d) 对 此 信道 ,如 果 1g ,xw! 是 任意 -个 码 长 为 AA, HFAA i, 有 PP = 


0, 证 明 这 个 码 的 速率 < log 3, 


2.20 二 进 制 删除 信道 的 转移 概率 韦 阵 如 下 : 
Q > 1 
= Ü G 
l L j — 


HP Oc path, p+ 9 = 工 假设 无 输入 代价 , 即 对 所 有 的 x,5《x) = 0]。 它 的 容量 为 C= 

1 _ pC WASH 2 tb). 假设 这 个 信道 配备 了 元 噪声 ,无 延迟 的 反馈 器 , 即 接收 方 可 以 将 他 

收 到 的 符号 反 传 给 发 送 方 。 发 送 方 采用 如 下 “编码 "策略 ,将 二 进 制 对 称 信 沽 的 输出 遇 

过 信道 传输 :他 不 停 地 重 发 每 个 符号 直到 它 最 终 被 正确 接收 。 

(a) 如 果 采 用 此 方法 ,计算 一 下 传输 每 个 信 源 符号 平均 所 需要 的 信道 符号 数 。 

(b) 利用 (a) 中 的 结论 ,对 任意 R < C. Ale >0, 设 计 - -个 码 长 为 n、 有 好 个 码 字 的 码 ,使 

M2” AFR iH PY <e{ 见 定理 2.4 的 推论 )"。 
在 接 下 来 的 6 道 习题 中 ,我 们 将 简要 证 明 一 个 没有 代价 约束 的 DMC 的 编码 定理 ,这 个 定 

理 在 某 些 方面 比 信道 编码 定理 (定理 2.4 的 推论 ) 强 ,而 在 其 他 方面 则 比 它 弱 。 首 先 必须 做 一 
些 定义 。 对 于 任意 一 对 x. x, C Ay ,我 们 定义 ， 


A(x}, xz) = s ` y p(y|ai) p( y|x:) 
¥E AY 


而 
rir = min{ F(J(X ,. Xy) 


其 中 最 小 值 是 取 遍 所 有 取 值 手 A, 中 的 独立 同 分 布 随机 变量 得 到 的 。 最 后 ,重要 的 量 R 定义 
为 : 
Ry = —log> Jo 


UE BH AY ce HERA A E : 
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DMC RJ A, 定理 HEA R< 只, 存在 一 个 码 长 为 rn BURR M =-[2" 1 个 码 字 的 码 

IX, X; X EAR TERS ALY ,使 得 如 果 以 户 = (5 Py) iM 表示 平均 译 码 错 误 概 

率 , 则 Ps <2."% 

《这 个 定理 比 和 六道 编码 定理 强 在 它 给 出 了 P, 作为 n 的 一 个 缘 数 能 够 达到 多 小 的 精确 估算 

TASH E. R. < Cua, AHRR Ryc R < C. 时 ,不 能 说 明 P.-=0 的 可 能 性 ,) 

2.21 AG pS SG le A n He Eis B PT BB =F. Ry =Í xyr, ð A x; = (x ,Xn Nan )o 
假设 给 定 接 收 到 的 一 个 n ER y 如果 p.lylx ) > p(ylx,), WBA x, q 30 E 
p(ylx,)> plylx, Bin x. & Y. = ly:p(ylx )>p(ylx,)i,Y, =ly:ply!m) > plyix i. 
如 果 以 PU 表示 发 送 % AESOP AE, HEHH ; 


pe < |[7Gu ms) i= 3,2 
KI 


这 需要 证 明 如 下 步骤 : 
Pe = S ply|x,) 
ye rs. 
= 5 ` y pyko pls) 
yE Ay 


= lI J (016, Xy) 


一 | 


2.22 PUA MISE x, ,… ,x¥y| 是 一 个 码 长 为 n .包含 时 个 码 字 的 码 , 则 译 码 器 选择 使 p(y¥1x,) 最 
KORE x, ,以 PS 表示 发 送 % 时 的 译 码 错误 概论, 证明， 
i n 
Pr = Y [[7O@a. Xk} 


j= L k=] 
JEI 


2 23 通过 将 习题 2.22 中 所 得 的 表达 式 对 所 有 和 码 求 平 均 { 其 中 每 个 袜 字 是 依照 能 够 达到 J, 的 
概率 分 布 独立 选取 的 ), 求 出 估计 : 
EPY < M2 en 
2.24 现在 完成 R, 编码 定理 的 证 明 。 
2.25 证 明 对 于 一 个 BSC, 


Ro = 1 -log|1+2Vz P) 


其 中 中 是 原始 的 误 比特 慨 率 。 进 一 步 证 明 订 Cu < Ro < Co, 其 中 Com = 1- R,(p)Ë 


BSC 的 容量 ， 
2.26 计算 二 进 制 删除 信道 的 Ry (ALA) eft 2. 1b). 


注释 


i1] 随机 矩阵 是 由 非 负 实数 组 成 的 矩 阵 , 具 有 每 行 元 泰 的 和 为 1 的 性 质 ( 参 考 习 题 1.20). 
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[2] 我 们 现在 要 强调 一 下 ,代价 函数 的 一 个 最 重要 的 例子 是 对 所 有 EAr b( x) = D. 
s| À b(x}) 的 主要 原因 是 为 了 强调 第 2 章 和 和 第 3 章 结 论 的 对 称 性 ,并 为 第 4 章 中 输 
人 受 限 高 斯 信道 做 准备 。 

[3] 我 们 引用 的 定理 是 ,定义 于 上 度量 空间 的 一 个 完备 子 集 上 的 连续 实 值 函 数 能 够 达到 它 
的 极 大 值 和 极 小 值 ; 见 Apostol[2] ,定理 4.28。 

[4] 这 个 术语 是 不 标准 的 ;在 B(x)=0 的 特殊 情况 (参考 注 秋 2), C(B) 显 然 对 所 有 B>0 
都 是 一 个 常数 ,并 只 是 称 为 信道 的 答 量 。 

[5] 在 给 出 定理 2.2 的 结论 后 ,读者 可 能 会 觉得 奇怪 ,为 秆 么 我 们 首先 给 出 的 是 复 林 的 
定义 12.5) 式 。 答 案 是 ,这 个 定义 可 以 简化 编码 定理 六 定理 的 证 明 [ 见 第 5 章 ,特别 
是 式 (5.9)] ;而 且 , 对 于 有 记忆 信道 ,定理 2.2 是 不 成 立 的 (见习 题 2.10). 

[6] 仔细 检查 一 下 定理 2.3 的 证 明 ,可 以 发 现 我 们 所 要 求 的 仅 是 转移 概率 拨 阵 的 行 具有 
(HE A IAA EA 

[7] BERENS OARE 2. 

[8] 可 果 4 是 一 个 集合 ,那么 符号 A RABE AWA n ERE C a, dg, 8,): 
a C A}. 

[9] 更 普遍 地 讲 , 码 C 可 用 于 传送 任意 信 源 的 输出 ,不论 是 二 进 制 的 .无 记忆 的 ,还 是 其 
他 类 型 的 ,只 要 全 源 的 可 能 输出 个 数 过 时。 这 种 健壮 性 使 编码 定理 (定理 2.4) 比 我 
们 讨论 中 所 指出 的 更 有 价值 ,因为 实际 应 用 中 很 少 有 信 源 能 够 用 一 进 制 对 称 信 源 精 
确 地 描述 。 

[10] 这 个 推论 叙述 的 是 ,在 速率 低 于 信道 容量 时 可 以 实现 任意 可 靠 的 通信 , 称 为 信道 编 
码 定理 ,因为 注释 2 中 曾 提 到 ,代价 约 划 通常 是 不 存在 的 ,所 以 定理 2.4 BJ SE W pi Zñ 
论 相 对 而 言 就 不 太 重 要 了 ， 

Chi] 这 个 译 码 规则 可 能 并 不 是 最 佳 的 ;见习 题 2.13 和 习题 2.14。 然 而 它 分 析 起 来 相对 
容易, 并且 在 证 明 编 码 定 理 时 是 接近 最 佳 的 。 

[12] BL3JEB 2.18. 

[13] 注意 从 已 中 删除 码 字 是 不 会 改变 剩余 码 字 的 PE 的 ,因为 PF = Dip ly!x,): 
yf '(x io 

[14] 这 是 一 个 著名 的 有 关 非 零 的 无 差错 容量 信道 的 例子 。 我 们 已 经 知道 对 于 这 个 信道 ， 


不 存在 使 Pe = 0 同时 速率 > 方 log 5 的 码 ; 见 香农 的 论文 [25], 112 ~ 113 页 ,以 及 


Lovász| 51}. 

(15) 当 考 虑 到 香农 的 定理 [ 即 反 蚀 不 能 增加 DMC 的 容量 ( 见 Shannon [25] , 120 H) JAY, it 
个 结果 变 得 更 有 意 交 ,然而 实际 上 总 的 来 说 ,反馈 简化 了 编码 器 和 译 码 器 的 设计 。 
有 很 多 文献 是 关于 含 反 馈 信 道 的 ; 妨 文 献 [25] ,373 ~ 436 贝 。 
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3.1 AKA 


考虑 信息 源 在 单位 时 间 内 产生 一 个 符 扎 ,该 符号 节目 一 个 称 为 信 源 符号 集 的 有 限 集合 
Ayo 恨 设 信 狐 产生 的 符号 序列 可 以 用 一 系列 独立 、 同 分 布 的 离散 随机 变量 U, U, ER, 
ASE RRA PiU=w| = ptu)。 这 样 的 一 个 信和 电源 称 为 离散 无 记忆 信 源 {DMS), 而 
Po 的 数值 称 为 信 源 统计 。 

现在 设想 我 们 需要 将 信 源 的 输出 通过 一 个 信道 传输 到 确定 的 信和 宿 。 假 设 传输 的 信 源 符号 
uC A, 在 信 宿 被 还 原 为 符 屋 v, 它 是 另 一 个 称 为 信和 宿 符 号 集 的 有 限 集合 A, KOCK (A 通常 包 
含 4, ,将 它 作为 子 集 ,但 并 不 总 是 这 样 )。 同 时 假设 对 于 每 一 对 (uw,v) ,存在 一 个 非 负 值 的 数值 
ddu, D) ATERRAR ú 被 还 原 为 信 答 得 号 v HT BUTEA Su K Ft. AN d 称 为 失真 
测度 

FEBRAN d 的 定义 扩展 到 取 自 46 x Ay 的 一 对 (uyY) = Ca uz." Upi DUU)» 
Bil 


k 
d(u, v) = $ ` dlu, v) (3.1) 


i—1 
为 方便 起 见 , 通 常设 Ay = 0,1, - 1), AÉ = 10,1,…,s 一 1| ,并 将 失真 测度 du ao 表示 为 
— rx s ER D. 


例 3.1 A, =A, = 10,111; 45 RB p(0)=p,p(1)= gq=1- p.32 E p< im k X BA E 


BEA 


piemeeit a( 4.2.4) sin KM Ft kE Fk 


2 
| 
l 
(这 两 个 例题 将 在 后 面 进一步 讨论 。) 
设 大 是 一 个 国定 的 正 整 数 。 将 相互 独立 的 随机 变量 UU... U. fF TE 301 Bk 
AS EVV 为 取 值 于 信和 宿 符 导 集 4，, 的 性 意 个 随机 变量 ,并 定义 在 与 U. 相同 的 
取样 空间 上 。 我 们 可 以 计算 随机 矢 申 = CU, UOR V= (V, TW) 之 间 的 互信 息 量 


例 3.2 hs=1-1,0,+1|,Ay =]. + 


2 
为 : 


i 
已 一 | 
2 
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UD; 和 VW), 以 及 平均 失真 测度 E(d) = ELd{U,WD1, 夫 定义 如 下 ， 
E(d) = 》 piu, v)d(u, v) 


(3.2) 
= 5 ptu)p(v|u)deu, v) 


[ 式 (3.2) 是 就 rr ° (u,v) = (ú, lU. i p o & RALAR E ou, © Ags, C Ap, ft plu, v) = 
PlIU=u,V=vl,p(vlu)=PIV=v|U=ul.] 
现在 定义 宁国 数 部 (8), 它 是 信 源 统计 (pfz)) ,失真 测度 矩阵 D 和 实数 6 的 函数 ， 
R,(d) = min{ !(U; V): E(d) = kd} (3,3) 


式 (43.3) 中 是 对 所 有 取 值 于 45 x A, 的 天 维 随机 矢量 对 (0,V) = (C0,…, GY KR 
极 小 值 ,其 中 Vte, U; 是 相互 独立 的 ,并 具有 相同 的 分 布 函数 PIU = ul = plu), eB 
Cp(u)) 是 给 定 的 信 源 分 布 统计 ,而 式 (3.2) 中 定义 的 平均 失真 测度 Ede. AERA 
统计 (ptw)) 是 固定 的 ,对 于 一 个 给 定 的 5 计算 凡 (8) 时 ,必须 改变 决定 VY 的 条 忻 概 率 p(r1u)。 
这 些 概 尝 可 以 看 做 是 一 个 输入 为 蔬 . 输 出 为 VY 的 信道 的 转移 概率。 在 此 处 该 信道 一 般 称 为 
k RETE MAO. DEERAS FARERNE ske 的 试验 信道 中 求 航 小 值 。 

下 而 初步 介绍 函数 R(8) 的 几 个 特点 普 先 注意 对 于 国定 的 {pfz)) ,图 数 U; V) r 
个 转移 概率 p(vlu) 的 连续 函数 。 转 移 概 率 集合 中 满足 E(d)= ikd UTREE rs 维 欧 几 里 得 
空间 中 的 一 个 封闭 区 间 , 因 此 函数 几 LU;V) 在 这 个 区 间 内 能 够 达到 极 小 值 + 。 这 就 是 我 们 在 
式 (3.3) 中 用 “min 代 痊 inf 的 原因 .第 二 ,注意 Cd) 的 最 小 可 能 值 由 并 :3 给 出 ,其 中 ， 

> piu}. min diu, u) (3.4) 
we Ay, 

从 式 (3.2) 中 可 以 看 出 ,由 于 Eld) D>) o plu,v)min dlu, y) = kns 因此 RD Re XT 
S26_,o 最 后 ,如 果 6, > ó, ,满足 E(d)= h5, BJ k SRB e 8 PPE RE E( d) = 16, HF 
集 , 因 此 R (ó )= BR, (8,) ,也 就 是 说 ,六 1G) 是 SB 的 下 降 范 数 。 

现在 定义 信 源 的 率 失 真 函数 为 ; 


| 
R(Ó) = inf — R.(ó) (3.5) 


BH Bar AL OPT eB H 8, ROWE Am 8 a Wa ATS PH ra Be kapak Ri 
所 有 的 对 数 运算 以 2 ABER). eT eR TE MAAE, EO K 9 RAEM ZE 3.2 + FAN 
述 并 证 明 。 本 节 下 面 的 任务 是 研究 存 给 定 DMS 和 失真 测度 条 件 下 计算 只 (8) 的 方法 。 

我 们 的 第 一 个 结论 是 有 关 函 数 R (E FEER. 

定理 3.1 R (8)# ded, FUL BH. 

证 明 :假设 @,,0.20,0,+a,=1. SAA, ST 6.6.20. 4: 

B06 + A252) = ct Rð) + aRt) (3.6) 
为 此 , 设 p (vld) 是 达到 R, (6. ) 的 试验 信道 的 转移 概率 ,ji= 1,2。 则 如 果 V.,V, 表示 试验 
信道 的 输出 ,有 ， 


Chas Gs ge ard ee eh — a — an. Qusa 


De TT 


‘lai 
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KU; Vi) = R,(Ó,) (3.7) 

E(d,) = kô; i= 1, 2 (3.8) 
其 中 d= dd(U,V,) 表 示 第 i 个 试验 信道 的 平均 失真 测度 。 现 在 定义 一 个 新 的 试验 信道 ， 
其 转移 概率 为 p(vlu) =a pirin) + ap (ylin), wR V ATi A RAs ai h, A A 
A(3.2) 4X (3.8) T, Eld(U,V)] =a, EL d(U, V )] +a Eld(U, V: )]eklað, + 
a,6,), 可 见 该 试验 信道 满足 计算 R (a Š, + o,6,)6) m ËF , 因而 有 KUV) R (aÓ, + 
QQ. Jo 
另 一 方面 由 于 HU VAS BRE pl F JU Be (£ 1.7), UV se, IKU;V,) + 
a, U; V =a RS) +a, R (8). 最 后 两 个 不 等 式 联 立 得 到 式 (3.6)， 从 而 证 明了 定 
3.1. 
下 一 个 结论 表明 ,计算 DMS 的 R(6) 显 然 比 定义 (3.5) 式 容易 许多 。 
定理 3.265] 对 于 DMS, R (8) =4R (人 对 所 有 的 天 和 人 汉人 都 成 立 。 


证 明 : 设 pfvlu) 是 达到 吕 (6) 的 站 维 试验 信道 的 转移 概率 ,， 则 
HU; V) = R,(ó) (3.9) 
E[d(U, VY = kó (3.10) 


bT UU, U, ZZ, LBL: 


k 
MU; V) > 5 Us V) (3.11) 


= | 


HREL = Eid(U .,V)],3# 
HE F.) = Rilð;), í = l, 2, a; k (3.12) 


K 
E[dU, V= > ` ó, = kó (3.13) 


i=] 
将 式 (3.11) 和 起 (3.12) 联 立 MIA UV = >， ,Ri(6;) 。 但 是 由 于 R 是 下 名品 的 ， 
根据 式 (3.13) ,以 及 RR 2 OMT R BRE BSA: 


: Öt- + Ó 
So aid) > e r (AA Fs) 


i=] 
= kR (Ó) 

因此 R (S) = KU; V) 2KR1(8)。 为 证 明 反 向 不 等 式 , 设 p(tviu) 是 达到 只 (8) 的 一 维 试验 
ER HAE p(vlu)=II p (v1w)。 容 易 验 证 这 样 定 义 的 无 记 必 试 验 信 道 满足 Ed) < 
大 和 HU;V) = KER,(6)( 见 习题 3.3)， 因 此 有 RCo) kR, (8) Mao tk T Z # 3.2. 

推论 

R(d) = Ry(d) 
= min{i(U; Vy: E(d) = ó] 
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证 阴 ; 该 结论 可 由 定理 3.2 和 定义 [3.3) 式 以 及 定义 [3.5) 式 直接 得 出 。 

现在 总 结 一 下 函数 R(6) 的 狂 质 。 我 们 已 经 知道 ROS) oe š. BD FER FOU aR. 
由 下 同性 立即 可 知 RC6) 在 > 6 范围 内 是 连 组 的 。 员 (3 在 3=6 点 也 连续 ,我 们 将 证 明 
留 做 习题 3.4. 进一步 将 让 明 对 于 所 有 充分 大 的 8,R(8) =0 BEL, WREN OLA: 


Omax = min s p(u)d(u, D) (3.14) 


MR sd) = 0 5EM bed. 为 说 明 这 一 点 ,观察 一 个 将 所 有 输入 4 RR AE 
S} plu)dluse) = Su 的 其 个 确定 的 5 的 试验 信道 , 则 有 U; V) =0 和 Eld) = 9。 这 表 
AMF oes, A R(6)=0. AK, UR RCS) =0, 则 试验 信道 的 已 和 了 必须 相互 独立 (定理 1.3)， 
因此 根据 式 (3.14)， 

Eid) = $ plu) plod, v) = $ plo) >| p(u)d(u, v) 


= 5 pU). Omax = Omax 
b 


可 见 如 果 R(ó)=0,MU Sedo 
出 于 R(8) 对 于 68> ó E FER FUH, BY bod WAR R( 6) Ou < 
S= ó. 范围 内 是 严格 下 降 的 (见习 题 2.6) ,因此 在 这 个 范围 内 RCO) RANA: 
R(ó) = min{ (U; V): E(d) = Ó), — Omin = Ó = Ömax (3.15) 
典型 的 R(8) 曲 线 如 图 3.1 所 示 { 但 是 ROTERE PMU, BO 3.2] .习题 3.8 
证 明了 假设 6 =0 实质 上 术 失 一 般 性 , 即 对 于 每 个 信 源 符号 ,至 少 存在 一 个 信和 窒 符 号 ,满足 
d(u,v) =0, 这 种 情况 下 R(6) 的 曲线 如 图 3.2 有 所 示 。 


I 


Š ee Snax 


MLO 


图 3.1 典型 的 A) 图 3.2 不 失 一 般 性 , 5. =0 


一 般 RODIE RCS) WEE ó, > 0] 的 值 并 不 容易 计算 (见习 题 3.7)。 但 是 ,如 果 假 设 矩 降 D 
的 每 一 行 至 少 有 一 个 0 元素 ,而 每 一 列 至 多 有 一 个 0 元素 .,R(0) 的 值 就 很 容易 计算 了 。 因为 
在 此 情况 下 ,满足 ED =0 的 试验 信道 必然 将 每 个 映射 到 它 的 "最 佳 "表示 集合 G. = lu! 
d(u.v) =01 中 。 但 是 根据 对 矩阵 D 的 列 的 假设 ,集合 G, 是 不 相交 的 ,可 见 通过 试验 信道 的 
输出 了 完全 能 够 确定 其 输入 立 。 因 此 六 0) =2(U;V) = ACU) - H(UILV) = CU) Bi 
滴 。 在 这 种 相当 典型 的 情况 下 ,R(6) 的 曲线 如 图 3,3 所 示 ( 参 考 习题 3.5). 

现在 将 实际 计算 一 下 例 3.1 和 例 3.2 中 的 RCS). 
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例 3.1[ 续 ) 这 里 信 源 统计 为 P'U-0 =p. P|U=S ll -9 其 中 p 所 方 ,而 失真 测度 矩阵 为 ， 


显然 ff =0,36 = minip, gl =p, READE, RO) = H(U)= Alp), ATR 
Qcc piti RCS), EI PAE RO) MARR, ICU; V= ACU) -ACUIV) = 
H(p)- HCUlV) SF E(d) = PiUzxVl=68。 但 是 根据 Fano 不 等 式 ( 定 理 2,1 的 推论 )， 
H(U|V)= H(8), Ait R(ó)> H(p)- Ald). APT PRA VG ep THR GME. A 
证 明 访 一 点 ,必须 构造 一 个 Eld) =ë, (U; V) = Alp) -HH(6) 的 试验 信道 ， 为 此 最 佳 方 
染 是 定 六 一 个" 反 向 "试验 信道 , 即 给 定 转移 概率 plul), MRR ue, WM plule}=ĝ; 
而 和 如果 u=v, Upl(ulr)=l-d, KOARH AAR, RRR PARR 
将 满足 K(d)= 8, HUV) = HS). 但 是 必须 确定 能 够 找到 一 个 a= Pi V=0), RE 
pPlu=0 =p Pi U< li = qg. Bibse Rap =al1-8)+0-a)d, FP a = Cp - 6)(1- 28), 


a TO < 98<p< 了,a 的 值 在 10,11 区 间 内 ,可 兄 所 需 的 友 向 悟道 是 存在 的 。 因 此 聂 后 (而 


图 3.5)， 


_ | H(p) — H(o). O = ó = p 
Ro) = Í| 6 Sep 


qd Feet Uh 








Hep) 


图 3.5 例 3.1 MP 3.2 中 的 RCS) 


例 3.2( 续 ) 这 里 信 源 的 统计 分 布 为 p(u) = 方 ,w=0, 土 1, 而 失真 测度 无 降 为 ， 
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l 
D= il 
2 


4 
l 


— km 于 





ith Batt ESTA TE] S = Y.ÓO.a = OT ICU; V)a A 9245 iB AF352360 3 69 TOU 


函数 ,根据 Py = + 方 1U=0] 和 piV= -1U= 0 的 对 称 性 ,以 及 da{0,3)=a(0, 


_ 1) ,可知 (见习 题 3.6) 为 了 使 试验 信道 达到 RO) eam P[V= at ee) - A 


q et PVs + 十 17= sibs Pr= aN" -t}=1-a,%? osa 


2 ze? 


Azt; V)= HCV) - H(VI U) = log2 - 3 aT ee eee Sigg Btls. mort 
E(d)=51(1-a) +20) 4 qrlts 。 REA (RA 3.5): 


= = ] = 

o (pan H(3(ó — 1)/2)), < 

Ü. Ó 2; 

+ % 65 P FS J A tat RAZAR K mj E ( od 483238 3 k X m) E 6) r 进 制 

XT AF42 28 05 BRA RBH. ik F 42 4015 eM RO]: A, = A= 0,1, r —- 11,412 2 
HAHAA PlIU=-ul=l1/r,3R P u=0,1,°°,r-1, AAH: 

Ü wR u = D 
dw = {1 如 果 u Z D 


r= 4 i HER 如下: 


Ü 
] 
l 
] 


— tt 


| 
l 
l 
Ü 


— 0 — — 


注意 对 于 (UU, 让 试验 信道 ,EE(d) = Ss) folus) uol = P|U > Vi ,这 就 解释 了 为 什 
Ak sy k Kon p ak aka h KR 3 K K m), 
BEAG. AHA 6. =0,m3R34 03.14) OL. = 1- Wr. k 0=ëó=1-/r AARE) 
Hid? HH £ wee H., 
定理 3.3] 具有 错误 概率 [ 汉 明 ) 失 真 测度 的 了 进 制 对 称 信 源 的 率 失 真 通 数 为 : 
人 0=ó=w=]1-I/r 
0, d621-1/r 
推论 ”具有 上 述 相 同 失真 测度 的 二 进 制 对 称 信 源 的 R(6)2: 
w 0 =< ó=1 
0, 


= 1 
Ó = 5 


R(ó) = 


R(ó) = 


(注意 推论 是 r=2 时 定理 3.3 的 特殊 情况 ,也 是 p= 了 时 例 3.1 的 特殊 情况 。) 
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证 明 ; 者 处 一 个 (DU,T) 试 验 信 源 ,对 于 0<8G1-1ir 范围 内 的 一 企 固定 值 全 达到 民 (G)。 
则 ROO}= H U;V)= ACU) - H(UIV). W T OAC) = lop (SA RAB 11) OH E(d) = 
Pi Us V| ,根据 Fano 不 等 式 ( 定 理 1.2 的 推论 ), ACUI Y) e dlog(r -1) 4+ HC) 因此 
RC) logr - ólog(r 一 1) - ACS), AUARMRFAR Bi O= bal -Vr 并且 定义 斌 


3945 ik ke F 
|-d #Rv=4u 
p(p|u) = ç Ó ` pk Du 


r — | 
则 通过 葡 单 的 计算 就 可 以 得 出 ECd) = 6, IU: V) = HCV)- H(VIU) =logr - H[1- 5, 
6iCr—1),--+, ó/(r- 1)]=logr—- dlog(r -1) - ACS), 


3.2 信和 源 编 码 定理 


在 3.1 节 中 从 纯粹 的 数学 角度 研究 过 的 率 失 真 池 数 具 有 完 半 的 通信 理论 音义 ,这 驶 是 :如 
果 允 许 的 类 真 测 度 为 8,R(S) 等 于 表示 每 个 信 源 符号 所 需 的 比特 数 。 因此 一 个 信 源 符号 可 以 
被 “压缩 "为 R(6) 比 特 ;由 于 R(5) 随 着 5 的 增 大 向 三 小, 可见 随 着 5 的 增 大 可 以 进一步 提高 
压缩 率 。 因 此 "* 率 失真 理论 "有 时 也 称 为 "数据 讨 缩 理论 。 

ATH R(8) 为 什么 能 具有 这 样 的 意义 ,考虑 下 面 的 情况 。 设 (U,V,,…, Ui) =U 表示 一 
个 确定 DMS 输出 的 前 个 符号 。 现 在 艘 设 这 不 个 符号 被 "压缩 "为 n RCG, XQ X) = X, 
并 且 可 以 通过 菜 种 方式 由 外 还 原 出 个 信 宿 符号 (VW e, V) VRE D E[d(D,.V,)] < 
AS. 由 这 些 条 件 可 以 确定 用 n 比特 X... A, KR k MAIRIES U, ,…, 的 平均 失 中 测度 < 2. 
0D, 针 和 VW 之 间 的 关系 可 以 表示 成 如 图 3.6 R. 


(id). so fey) 








(X... X.) (V. fy 


图 3.6 ”一般 的 数据 压缩 方案 


现在 由 式 (3.3) 和 式 (3.5) 可 知 , U; V) 局 (8) 之 如 (6); 根 据 定理 1.5 A ICU; V) = 
I(X;V);HI FOX V) AE ERO. DITA X; V) < A(X) 并 且 根 据 定 理 1.1 Os 
n 比特。 综合 这 些 结论 RAT ARCO) < ICU; V) < (XV) H(X) < n, PCRS y RS 
算 以 2 为 基底 )， 


H 
p R(d) (3.16) 


式 (3.16) 中 的 比率 nik 是 在 上 述 数据 压缩 方案 中 表示 每 个 信 源 符号 所 需 的 比特 数 。 由 此 我 们 
立即 可 知 ,如 果 平 均 失 真 测度 必须 < 5,R{6) 就 是 表示 每 个 信 源 符号 所 需要 的 最 少 比特 数 。 下 
面 将 要 证 明 的 信 源 编码 趾 理 表明 基 种 意义 上 需要 的 比特 数 可 以 不 超过 RCS). 
首先 必须 定义 一 个 信 源 编码 。 一 个 码 长 为 无 的 信 源 编码 是 4 的 一 个 子 集 , 即 码 长 为 天 的 
信和 宿 序列 的 集合 C= lv v. Vlo 它 的 速率 定义 为 R= k''lo M. XF TA FIBA k B 
信 源 序列 mw= (ueo u E 用 由 是 “最 接近 "u 的 码 字 vw,, 即 ， 
du, f(u)) = a(u, v;), j=l, 2 o, M (3.17) 


码 C 的 平均 失真 测度 定义 为 ; 


K ' ` 
ener deme = 全 Ha ore ne F úT" a= 


tere 


z LN 
4 
a 
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dC) = Y p(u)d(u, f(a) Bi 
ue dé, 
FER (3.18) plu) = plu, plu.) plu, Ele Wima BJBi A OES A, ,uw 的 概率 . 
如 果 M <2 ,这 样 的 一 个 信 源 编码 可 用 于 设计 图 3.6 AR a. Pt M ME 
BABET KRT v 分 配 一 个 不 同 的 二 进 制 nn HE x(v ) = Cx vd, (v. o OF 
M<2" ,这 是 可 以 实现 的 。 则 信和 源 序 列 g= (uo, on E x= x[f(u)] 8, ABE 
F| v BREE FO) | 由 于 x( 站 的 映射 是 一 一 对 应 的 ,六 贡 可 以 惟 … 地 由 fiu) JP, B 
然 这 种 方案 的 平均 失真 测度 就 是 d(C), 如 式 (3.18) 中 上 所 定义 的 ,而 上 订 绒 率 nik 就 是 
[log M Vk. 


例 3.1( 续 ) 与 前 面 的 例 3.1 完全 相同 ,只 是 现在 我 们 设 定 信 源 的 统计 分 布 为 p= g = 于。 考 


上 谨 一 个 码 长 为 了 的 有 16 个 码 宇 的 信 源 编码 , 即 引 言 中 描述 的 有 16 个 码 字 的 (7,4) 汉 明 
a SSP BSA 128 个 长 度 为 7 的 二 进 制 和 量 至 多 有 一 位 与 菜 个 码 字 不 同 。 


因此 ， 
I /128— 16) 1 
Hcy = ( 128 ) -3 
EREA afk =4/7=0.5714, [这 种 情况 下 如 我 们 所 看 到 的 , 尺 (8)=1 -机 (6), 不 等 式 (了 3.16) 
tA 4/7>1- H,(0.125) = 0.456 4, ] 


例 3.2[ 续 ) ix 42 .失真 测度 竺 与 前 面 例 3.2 PHA AMAA WGKA 2 HER 
编码 : 





C= {b -D (Ch iD) 
通过 直接 计算 (见习 题 3.14)48 d(C) =- 二 =- [Jo Ra nfk = 12 = 0.50, HT 


r( 2) = £[1-4,( 2) ] = 0.233 3, 我 们 再 次 看 到 它 满足 不 等 式 (3.16)。 


现在 很 容易 猜测 依 源 编码 定理 的 核心 内 容 ; 即 个 在 信 源 编码 ,满足 de 信和 
log M/k = RCS). SUG TRE LP AY xe FR 

定理 3.4 (#24 RAT PR)2 Z 0 > d, ,对 于 任意 0 > 6 ie R' > ROS) 1 A X $ K 

Sk ARI KAM POS ORB BA: 

(a) Mgr 

(b) d(C) eH’, 

TE ”结论 (a1 确保 我 们 可 以 取 nob | HESS RSE nih RP BE DAREA ERD RH < 


58) AB aA OR oo oe MAE ORC Oo) fe 6 BGR dea BANA aS a/k = 
R{) 的 一 个 原因 是 R(5) 有 可 能 是 无 理 数 1 LYM 3.151. 
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WEAR: EE 天 和 好 ,满足 
RO)<R"'<R, ó<àó"<ó' (3.19) 


现在 如 果 C|, o, v | PBKEA k 34 2 š J HA (Aw BEL 
的 一 种 信 源 编码 函数 ,定义 At 的 子 集 5S 和 了 为 : 

S = fu: d(u, f(u)) = kó”) 

T = {u: d(u, f (ü) > kó") 


这 里 5 是 被 C 以 较 小 类 真 所 表示 的 局 源 序 列 的 全 合 , 人 是 以 较 大 失真 所 表示 的 入 源 序 列 
的 集合 。 则 根据 d(C) 的 定义 (3.18)] 趟 ， 


aC) = +) pdu, fw) 
i (3.20) 


j l 
k > pudu, f(u)) + I > pudu, f(u) 
u T 


u= s 
FEARG. WD P 6) $ — j Eda s RRE B 为 失真 测度 矩阵 中 的 最 大 元 
£, ER B = max dlu, uE Ar v€ Ay) RMA: 
d(C) = ó" + BY pœ (3.21) 


u= T 
式 (3.21) 中 的 求 和 项 恰好 是 被 C 以 较 大 失真 表示 的 信 源 序列 出 现 的 概率 ,好 Pidu, 
HUDER HE 
现在 d(u, Fu) 大 于 上 人 的 充 要 条 件 是 duvi)> 上 人 ,对 于 每 个 计 = 1,22, MUR 
GID] Ast wRER 8486 BAA: 


1 #3 d(u, v) = kò” 


Alu, v) = | 0 E d(u, v) > kd” (3.22) 


式 (3.21) 中 的 求 和 项 变 为 S) p(u)[1 - Aw, v) lell - Alu, vy] ,所 以 如 果 我 们 定义 ; 
M 

K(C) = > p(w) |] — Atu, vo (3.23) 
u i=] 


X (3.21) * 235; 
HO ó" + B- K(C) (3.24) 


WK X (3.24), p R 8 03k K p| -TEREA ESA IEP ASHER a, MR 
KCC) <8 -全 )1B ,就 完成 了 证 明 . 这 里 直接 找 不 到 这 样 的 编码, 但 是 通过 随机 编 砚 方 
忒 可 以 间接 推断 出 它 的 存在 。 也 就 是 根据 一 个 确定 的 概率 分 布 , 对 所 有 可 能 的 码 长 为 天 、 
&- 281 个 码 宇 的 信 源 编码 求 玉 (C) 的 平均 值 ; 并 证 明 这 个 平 殉 值 将 随 着 k— oo m 8 T 
0。 国 为 对 于 足够 大 的 天 值 这 个 平均 值 将 <(8' - VB, WHT ES LAE PAR 
W A KC (S - SX VB 并 满足 定理 3.4 的 结论 。 

BL ERR MARA SAM a2 OSG PARMAR KCC) TS 
值 、 当 然 首 先 必 须 确定 求 平均 慎 所 对 应 的 概率 分 布 。 正 确 的 选择 是 尽 可 能 地 接近 随机 变 
曹 V 在 一 个 达到 RR(8) 的 试验 信道 中 的 分 布 。 因 此 下 面 的 证 明 是 设 p(wu,v) 表 示 一 个 在 
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Ay x Ay LBRO) RE SA, BP, 
U,V) = R(à) (3.25a) 
E[da(U. Fy] sd (3.25b) 
A, 和 Ay -E 5 ib 8 p h Pb EA: 
plu) = So pino) — ( 信 源 统计 ) 


p(v) = Y plu, v) 


进一步 假说 信 源 和 试验 信道 是 无 记忆 的 ,将 这 个 概率 分 布 扩展 到 AL x Ay 上 的 一 对 
(MY) = (u, uy ty ), PP £ 32: 


k 
pw) = | | p) 


j= | 


; (3.26a) 
p(vju) = Í | pwu) 
:=1 
By atk, PJ £$ : 
k 
plu, v) = | | p(w, o) 
F (3.26b) 


k 
pv) = | | poo 


i=] 
MHRMESABKA LS 上 省 个 码 字 的 信 源 编码 的 概率 ,就 是 指定 给 码 C = iy lU, 
v TRE: 


M 
AC) = DESS 


i=] 
其 中 p(y WAC. Ob) SH, LAARA AEA HBA RRS ARERER SH 


ptv) 被 * 随 机 ”选取 的 ,] 
回顾 KK(C) 的 定义 [ 见 式 (3.23) |] ,我 们 开始 计 关 它 的 乎 均值 E( K): 


Af 
E(K)= Y p(y) -- pv) > p(w) [ [0 — Au, v) 
h i=} 


Yi." Y 4 


Af 
=Y po > FT peat - Au, v) (3.27) 


waka i=] 
Ad 
-5 awl 5 pW ~ AQ, m) 
u vë At 


[如 果 不 被 表示 特 号 所 迷恋 ,显而易见 上 面 的 最 后 一 步 依 据 这 样 一 个 事实 , 即 如 果 f(x) 是 
定义 在 一 个 确定 集合 4 上 的 函数 , 则 ， 








- ” * `. ` 4 ` - ` Fiai .. == - 
` - 
_ uw ta ee TH Le nr Se ee ee er dT dea ies aoa Fam ara Q et eee a abra ee din Tr TT VE i e ee er - 
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Af 
pa) = fF) fau) 


xed X|EA xw = 4 


式 {3.27) 中 括号 内 的 求 和 项 等 于 ; 
Y pvt — Ata, v)] = 1 — 3 p&)A(u, v) 


BF] (3.27) 3 35, 


M 


E(K) = S~ p(u) [ - Ý. p(v)A(u, v) (3.28) 





[至 此 ,读者 应 该 能 够 直接 看 出 式 (3.28) 表 示 的 是 ,被 "随机 ”选择 的 信 源 码 v, Yy 以 较 
大 失真 表示 的 信 源 序列 的 概率 。] 下 一 步 证 明 是 估计 式 (3.28) 中 的 内 部 求 和 项 。 为 此 


_ J! t$ d(u, v) = kd" HB F(u; v) = ER" 
Aotu, v) = r 其 他 情况 


HP u,v) =log,[p(vlu)/p(v)], AREA(3.22)A, (u,¥) eAtu,v), Bok, 
Y ` p(v)Ao(u, v) = 5 ` p(v)A(u, v) (3.29) 


如 果 Ao(u,v)= F.W) /u,v) = log, p(vlu)/p(v)]= kR", m p(v)>2 *" p(vlu), A, 
Y ` p(v)Ao(u, v) = 27" 》 p(v|w)Ao(u, v) (3.30) 


结合 式 (3.29)] 和 式 (3.30) ,我 们 有 : 





M M 
[ 一 p(vy)A(u, v) = | — 274R" y” p(v|u)Ao(u, v) (3.31) 
Mes AF Bi AA: | 
Q- Z#1—x+e e (poRO = x y = 1, M> 0) (3.32) 


(证 明 留 做 习题 3.16,) 其 中 x= 式 (3.31) 中 右边 的 求 和 项 ,而 Y=2 8 RR: 


M 
| — >` p(v)A(u, v) 





(3.33) 
= ] 一 p(y|wyAg(u, v) + exp(—2 .- Af) 
bk & X (3,28) 4 A (3.33), AMA : 
ELK) = 1 一 >` plu, vj)Ag(u, v) + exp(—2 二 . Af) 
ü (3.34) 


一 D piu, ¥}[1 — Ao(u, v)] + exp(—2 AR". M) 


现在 将 证 明 随 着 天 趋 近 于 无 穷 , 式 (3.34) 中 的 两 项 都 趋 近 于 0。 首 先 注意 由 于 及 =2…… 


ñ ,后 | i 和 ; 





局 
kr 
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并 且 R > R°[LA(3.19) |], expC -2° "+ M) < expl -288 -8-1] 非 常 快速 地 趋 过 于 0。 
其 次, 注意 1 -Aufny) 等 于 1 的 充 要 第 忻 是 dfay) >s k OR av) > k RAH, 
> piu, WI — Alu, yj] 
ne (3.35) 
< P{d(U, V) > kë”) + PUU; V)> kR") 


式 (3.35) 中 的 概率 取 自 (U,V) 空 间 , 式 (3.26) 描 述 了 其 概率 分 布 。 但 是 ， 
K 
aU, V) = >》 d(Ui, V.) 
in] 


是 独立 . 同 分 布 随机 变量 的 求 和 , 杠 据 式 (3.25b) 和 式 (3.19), 其 中 每 个 随机 变量 的 均值 都 
BLEU, Vlas ORR K 3k 2 OLAR A) (3.35) POR A 38 3 Bë 
普天 的 增加 而 趋 于 0。 类 要 地 ， 


k 
IU; V) = Y KU; V) 


i=] 
是 独立 、 同 分 布 贿 机 亦 量 的 求 和 ,其 中 每 个 随机 变量 的 均值 都 满足 ICU; V) = 
R(8) < RR[ 见 式 {3,25a) 和 式 {3.19)], 因 此 再 次 应 用 闫 大 数 定 理 , 式 (3.35) 中 的 第 二 个 概 
率 也 随 着 上 的 增加 而 趋 于 ,综合 所 有 这 些 结论 ,我 们 和 看 到 式 (3,34) 中 给 出 的 EL 下) 的 上 
界 趋 近 于 0; 特别 是 对 于 足够 大 的 下 , 它 将 小 于 (8' ~ OVE ,回顾 前 面 的 讨论 ,这 就 完成 了 
证 明 。 


习题 


3.1 计算 R(3), 信 源 p=( 雪 ,过 ), 相 应 的 失真 测度 矩阵 为 ; 
D 1 
i 


3.2 计算 R(3), 信 源 p=(, 方 ), 相 应 的 失真 测度 矩阵 为 : 


0 1 1 
1 0 1 
[本 题 说 明了 RISE) 不 必 是 严格 下 目的。 
3.3 证 明 在 定理 3.2 证 明 过 程 中 最 后 定 匀 的 大 维 试验 信道 满足 下 d (U) I< k 5 K ICU; V) = 
kR (8) 
3.4 本 题 的 目的 有 是 要 证 明 R(O)tE ó = 6 处 连续 。 为 此 补充 下 述 细 他。 
S 0 ,0,,… 是 随机 桂 阵 序列 ,分别 表示 达 刘 R(8 ,及 (5 ),… 的 试验 信道 的 转移 概率 ， 
其 中 lim, .. 8, =6，。 则 存在 一 个 子 序 列 On. Qn. ERAF -个 随机 矩阵 @。 对 应 
于 0 的 试验 信道 满足 下 [df V)! = ó|. MICU; V) = lim. ROO). 因此 
R( Smin) 所 lims a+ RCS) M R ES E 3m 处 连续 。 


p= 








3.5 


3.6 


3.7 


3.8 


3.9 
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在 前 画 我 好 证 明了 R(0) = ARERR. DNR EAT OR, 
而 每 列 至 多 有 -~ 个 0 元素。 坛 证 明 这 个 条 件 也 是 必要 的 。 
在 例 3.2 中 ,我 们 利用 “对 称 性 "来 寻找 一 个 达到 R(5) 的 坛 验 信道 。 在 本 题 中 将 明确 表 
Rix ME. S r A, 的 一 个 置换 ,对 所 有 的 “GE DU, 满 足 pu) = pirla dH TS 5 
是 均匀 分 布 的 ,对 = 没有 限制 }, 今 o BA, 的 一 个 置换 ,对 所 有 z ET 和 vvEY, 满 足 
D(u,s)= Dora) pled). AME "对称 性 "有 所 要 求 的 ,在 例 3.2 F, 
m(—1) = +1, 2(0) = 0, x1)}= -1; g(—1) = +4 p(4+4) = i 

WEAR SE Oe S... ,都 存在 一 个 能 达到 RCO) ISIASS IRIE p(o! a), ERILE Qu, ve) = 
[plola REED ASR TE, BUR AP Ao en COU Ale CV, Oru), ple) = 
O(u,v) (FER WE Olu, Ha PREIR AD R(5) 的 试验 信道 , 定 头 Q, (u,v) = 
Q (m (uw). (e)),3FREBH £=1,2.3.--09,0, oa CAERA RO RARE. #& 
OE S O(u,o)=n ' SY Qu.) SEH a Ez Aloe 阶 数 的 最 小 公 倍 数 ,] 
在 最 普遍 的 情况 于 ,计算 ROPE (HEP. RM, PASAT 
的 ,请 证 明 恰 的 正确 性 。 
对 每 个 ul A, G 有 Ia) 代表 "表示 u WR WES Bl Btw)= 1vE Ay: dlu, o) e 
dlu, v) ,对 所 有 的 Ed41。 则 存在 一 个 能 达到 R(6,) 的 反问 试验 信道 ptu1v) ,使 得 
WEE ve Bla). plule,) = plules)s 

1 1 


将 这 一 结论 用 于 寻找 下 述 信 源 的 R(Su。) : 信 源 的 统计 分 布 为 [本 ,到 ,可 ,相应 的 失真 
测度 短 阵 为 : 
D O | 
D=|1 1 Ü 
f | ] 


考虑 一 个 国定 信 源 p= (pi,p;，,…,p,) 和 失真 测度 矩阵 DD, 对 应 率 失 真 隙 数 R(5)。 考 虑 
一 个 新 的 失真 测度 处 阵 D,EE D 通过 第 i 行 加 上 -个 常数 w, MERRY, Bld Ca, j) = 
di 门 + 人 也。 证 明 新 的 率 失真 函数 为 Rd) =R - m) Po = 2iwipP:。 利 用 这 个 结 
论证 明 假 设 8 ，=0 实质 上 不 失 一 般 性 。( 此 结论 由 J 了 .Pinkston[ 25] ,300 页 给 出 。) 
考虑 一 个 信和 源 p= Cp,,…,p,), 它 的 失真 测度 矩阵 的 第 一 行 全 为 0。 WH R(8)=(1- 
pi)RCBH1 -pO AP R ERW p - pi). pf 一 pi1)) 的 率 失 真 消 数 , 它 的 失真 
测度 咎 阵 D Eh D 并 除 其 第 一 - 行 而 得 到 的 。( 此 结论 由 J.Pinkston[ 25] ,300 和 页 给 出 。) 
(ERRI ROS) 下限) 假设 失真 测度 矩阵 p 具有 如 下 性 质 ; 它 的 每 一 列 都 是 (adi, d;,,…， 
d ) 的 - -个 置换 .定义 再 (8) = max! Hla): >) ad, = ô} (见习 题 1.8)。 通 过 
证 明 下 述 结论 来 征明 R(= H(U)- (8) AP WCU) Bie: 
(a) WEU, VES REAR) R(5) 的 试验 信道 , 则 RCO) = ACU) - 2, p(w)H(U | 
V = u). 
(b) 如 果 6(v)= X, p(uls)d(u,s) M] HCULV= 2) BC d(r)). 
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(c) > plo) @(d(e)) < OCD) p(v)d(v)) < B). 

3.11 { 续 ) 如 果 DP 还 具有 下 述 性 质 ; 它 的 每 一 行 都 是 其 他 行 的 置换 ,证 明 如 果 信 源 是 对 称 的 ， 
Xó = ó= j. RS) = H U) -Da 

3.12 考虑 两 个 DMS, 输 入 符号 集 为 A ,输出 符号 集 为 AV ,失真 测度 函数 为 df (x,v),i=1， 
2。 它 们 的 积 具有 信 源 符号 集 AU x AT ,信和 宿 符号 集 AY x AY ,失真 济 度 和 矩阵 的 元 素 为 
dilusu), (a, 22) j= d un) + dw ,vi)。( 物 理 上 这 相当 于 两 个 独立 .并 行 的 
信 源 ,}) 证 明 积 信 道 的 率 失 真 函 数 是 R(6) = mn, | RP (1)+ R22(8- 1, ARYA 
RR 中 分别 是 信 源 1 和 信和 源 2 的 率 失真 函数 。 由 此 证 明 R(8) 的 曲线 可 由 将 曲线 RY AN 
RR 上 斜率 相同 点 的 模 纵 坐标 相 如 而 得 到 。( 此 绪论 由 香农 得 出 。》 

3.13 (Lee WE FARES” ) 如 果 gq 是 奇数 ,而 A, =A = 10,1,… ,9 一 1| ,Lee 失真 测度 (或 
Lee MEF) SHA dlu,v)=mnile—vl,/g—ut+vll, SOR q= +2t+1, 考 虑 这 个 
码 长 上 =2、 有 M= q 个 码 宇 的 信 源 编码 :C= 1 (o,o) u, = (21 + 1)v,tmodg )i。 证 明 围 
线 这 些 码 字 的 半 答 为 1 的 球体 完全 覆盖 了 oa? E(u, u, HRAMA wR. lo, 
vy ) 的 半径 为 上 的 球体 是 集合 Ha ey) d(C, w) + dlu, o) tl. HER e B93F EJ 


失真 测度 为 二 x (2 + ME FID 42241), 


3.14 证 明 例 3.2 中 信 源 编码 的 dt C) - 9。 


3.15 证 明 如 果 定 理 3.4 EI (a) BN MOO” , 它 仍 然 是 成 立 的 ;而 如 果 人 > ó... HR 
RORE KRMA d Cai”, CEDAREA. 

3.16 ÆEHWF 0gr,ysl, M20, W1- xy)” sl- x + e "| (3.32) jo 

3.17 描述 一 下 在 8 = sn EET BETA ASA ee ECER 3.4) 所 保证 的 内 容 。 


[1] 专业 上 dataz,y) 被 称 为 单个 字符 失真 测度 ,以 区 别 于 直接 定义 于 某 k tlu, v) = 
(ao 的 失真 测度 ,而 不 是 由 式 (3.1) 定 义 的 失 丰 测度 。 

[2] 这 个 例子 是 由 香农 给 出 的 (参见 文献 [25],246 ~ 247 页 和 262 页 图 2)。 在 摘 述 这 个 
很 特别 的 信 源 时 ,他 写 道 :“…{ 信 源 ) 符 号 集 包 含 三 个 可 能 的 符号 , 即 -1,0 和 和 +1。 


或 许 ,由 于 某 些 经 济 原因 ,希望 采用 只 有 两 个 符号 - 广 和 + y BEES. TE 


可 能 会 有 例 3.2 所 示 的 矩阵 。” 

[3] 后 面 的 定义 [ 式 (3.3) 利 式 (3.5)] 可 应 用 于 任意 的 稳 态 信 涛 ; 见 式 (5.3) 和 式 (5.4)。 

[4] 见 第 2 章 的 注释 3。 

[s] 考虑 到 定理 3.2, 读 者 可 能 会 奇怪 ,为 什么 首先 介绍 的 是 图 数 总 人 3)。 原 因 有 了 两 点 。 
第 一 ,对 和 于 一 个 有 记忆 的 稳 态 信 源 ,定义 (3.3) 式 和 (3.5) 式 是 有 意义 的 ,并 且 一 般 对 
FRE OR. (OE ORB. (ARNE BH FARA aR.) RLO 
我 们 来 说 更 为 重要 ) , PO a ee E A T Ta 1 So Se BH | 
第 5 章 , 特 别 是 式 (5.10) j。 


- ` ` = ` - 
PT 
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[6] Pinkston( 参见 文献 [25] ,296 页 开始 ) 将 这 一 定理 推广 到 任意 具有 汉 明 失真 测度 的 
DMS, 20 FER. NLU EA PPD: ppp ep, EM S. = Soph = 
8... +(r-k)p MA, = Alp /(1- S), p (1 O- S,)), MDF 6.2 = ó <f,, 
R(8)=(1-S_ IE - HUE- 8,_, NU-S- (6 - SNA- S,)log(r - k -1)), 其 
中 让 =0,1,* ,re 

[7] 关于 这 个 专题 的 更 多 论述 ,参见 Berlekamp| 14] ,305 ~ 309 页 . 





= 
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4.1 高 斯 信道 


这 里 箭 道 的 全 称 为 "平均 功率 限制 条 件 下 的 离散 时 间 无 记忆 加 性 曲 斯 信道 ”, 它 的 信道 输 
人 符号 集 A, 和 信道 输出 符号 集 4y 都 等 于 全 体 实 数 的 集合 。 如 果 X... X... Ela Wk Fara), 
2,… 的 输 和 人 , 则 相应 的 输出 V. Wc V. = X + Z. AMP Z... Z... By E 5 BU F 
态 随 机 变量 ,均值 为 0, 方差 为 of。 这 个 信道 经 常 描 述 为 如 图 4.1 所 示 . 另外 ,对 应 每 个 输入 x* 
存在 一 个 “代价 ”; 它 是 5(x) =x?。 这 一 节 里 将 让 有 明 该 信 赣 的 容 基 -代价 冰 数 如 下 
CR = log(] + B/a*) (4.1) 
正如 第 2 章 中 对 离散 信道 的 讨论 ,我 们 将 证 明 如 果 平 均 输 入 代价 限制 为 < 8 CBR 
着 无 误 码 传输 信息 的 最 大 回 率 . 


Z 


ASL at. 
H0O Fc: 


X —— —— + ¥ 


图 4.1 各 斯 信道 
在 推导 式 (4.1) 之 前 ,我 们 首先 简单 地 描述 -下 实际 应 用 中 可 能 出 现 的 信道 。 
假设 我 们 希望 在 TRA AS a PRM xe, 由 一 点 传输 到 男 一 点 ,并 要 求 将 
这 些 x 转换 为 时 间 的 连续 蚂 数 x(1)。[ 为 表述 得 更 清晰 ,假设 x (2) fer 1 OC) a 3& 
的 电压 , ] 为 此 ,一 种 方法 旺 拒 到 nn Ph eRe, (2),70=1,2,°°,7, ENE 10.7] 时 间 间 隔 内 下 
ae , Bll, 


C | MeRi=j 
而 传输 的 入 号 为 : 
(N= 5 xó,(D (4.3) 
i=l 
数值 x, APLAR x( 349: 
T 
x; = J x(g pdt (4.3) 
0 


但 是 ,由 此 出 现 了 几 个 复杂 问题 。 首 先 ,我 们 的 传输 可 能 是 功率 受 限 的 ,比如 限制 为 P B. Wu 


- 
一 -一 * paar, Si ees T M dak TA = mu — - — - s. 
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T 秘 内 消耗 的 总 能 量 不 能 超过 PT 焦耳 。 能 量 由 积分 [Pda 给 出 ,根据 式 (4.2) 的 正 交 性 ， 
结果 为 Da o 因此 必须 有 : 


ly x= 

n 1 

也 就 是 说 输入 矢量 = (x, x, ) 不 能 是 任意 的 ; 它 必须 在 半径 为 x PT 的 欧 几 里 得 球体 内 。 
另 一 个 复杂 问题 是 当 传输 x(1) 时 ,接收 信 息 的 形式 通常 为 lt) = x(1) + z(t) ,其 中 z(1) 

是 某 种 类 型 的 噪声 过 程 。 常见 的 一 类 噪声 是 Johnson([ 热 ) 噪 声 , 是 出 接收 机 中 电子 器 件 的 热 返 

动 造成 的 。 在 这 种 情况 下 将 z( 里 看 做 白 高 斯 噪声 是 合理 的 。 这 就 意味 着 存在 一 个 噪声 谱 密 


度 值 No ERA z = | 261) Bi(t) dh 成 为 统计 独立 的 .均值 为 0. 方 差 为 ww12 的 高 斯 随机 村 


(4.5) 


a, Btm EKEKA HBS RR4.4] [a b.(1) dt FARE x, ,他 将 得 到 估计 
(A x, = x, + z; c 

现在 总 结 如 下 ;传输 x= Cx, ,…,x, RE x 必须 满足 式 (4.5), 而 接收 的 是 x= (x tac 
x, +z) dP 2,,°° z 是 独立 的 ,均值 为 0, 方 差 为 N012 的 高 斯 随机 变量 。 当 然 这 只 是 本 节 开 始 
时 所 介绍 的 高 斯 信道 的 情况 ,其 噪声 方差 d = N12, 而 输入 限制 为 8 = PTin。 根据 式 (4.1)， 


该 信道 的 容量 为 log,(1+2PTinNo) 比特 每 符号 。 如 果 现在 定义 传输 “带宽 "为 WW= nT, 
并 观察 到 每 秒 钟 传输 n T= 2 下 个 符号 , 则 容量 变 为 : 
C = W loga(l + P/NoW) 上 比特 每 秘 (4.6) 


RGO ERKA KEA ER OSL AMARA Se RIA. EER 
W >> PIN, , 则 最 终 的 “宽带 "高 斯 信道 的 容量 为 : 


lf 
~ In2 No (4.7) 
~1.4427P/No 比特 每 秒 


现在 回 到 本 节 主 要 关心 的 问题 , 即 式 (4.1) 的 推 二。 
类 似 于 式 (2.3) ,我 们 定义 高 斯 信道 的 n 阶 容量 -代价 函数 CCB) A: 


C,(B) = up| 108 Y): Y EX?) < | (4.8) 
i=] 


FRAY EW Ae iF q AL PRR RB) n 维 随 机 变量 对 其 = (X... X RE Y= CY Y.) 
而 得 到 的 ; 


X BAAS ER p (X) (4.9a) 
Y E(X?) = ng (4.91) 
i=] 
V, = X + Zi, i=1,2,:..,n (4.9c) 
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这 里 2 ,2 Z, 是 独立 的 (彼此 相互 独立 并 且 与 X, 独立 ) ,均值 为 0 方差 为 of 的 随机 变 
E., Bese it BRE A: 


CA) = sup ~ CAP) (4.10) 
我 们 直接 证 明 下 面 的 定理 。 


定理 4.1 C,(8)=(n/2)Jog(1+ pio), A C(B) = log(1 + Bio"). 


WEAR 7k X= (X,,°°. X, ) 是 满足 式 (4.9a) 和 式 (4.9b) 的 任意 试验 信和 源 , 则 根据 式 (4.9c), 站 
#o Y 的 联 含 密度 为 ; 
PX, v) = plx)e(z) 
其 中 Z. = ( y| 一 x, ), in g(z)=Ë A ea at) HE ay, Fe AE EF, 
i o 1 x) 

PIP asa Zn) Z Bagy? exp{ - 962 
[F RR K (1.27). | 
设 4 = E(X2), HTX, 和 2Z, ARa, E Y) = E(X:)+ E( Zi) = À, + a°, 因此 根据 
定理 1.11， 


lin 


AY) = 5 log 27re Th La“) (4.11) 
i=] 





现在 根据 式 (4.9b) 327 (A + 2) < n(8 + e°) HARBHA-LAFARTA, 
ACA 11) PH RRAKFG( B+ o' VK, 
ACY) = log 2te( B + 0°) (4.12) 


PAE m 1.10, (X:Y)=h(Y)- ACVEX) ,但 是 h(Y X) = h(Z) = (ni2 ogre (RA 1.13 
和 习题 1.27)。 因 此 ， 
HX; Y) = ACY) — h(Z) 


< žog +) (4.13) 


从 而 证 明了 C,( 8) <(ni2)log(1 + Blo?) AMAR MARFA, RX, XX, 是 独立 
: 的 HEH 0.2 2 2 BPH SMMAEE, HLA (4. 9a) A (4.9b). HRY, Y... Y, 
| A 3k 3235 SAROSA B+ o 的 高 斯 随机 变量 (参照 习题 1.29) ,而 I(X;Y) = ACY) - 

h(Z)=(n/2)log(1+ B81o*)。 这 就 完成 了 定理 4.1 的 全 部 证 明 。 

注意 定义 (PMA AFA RRR AGRA: 
: ik X RAAT RS 41k (4.94) 
在 习题 4.11 PERMEATE AFH, 
这 一 节 中 最 后 的 结论 是 高 斯 信道 的 编码 定理 。 它 完全 类 似 于 离散 信道 编码 定理 2.4: 一 





s". "a v ` - 
mmr a as m ta k. A ee Ae er — --— -i— - a e —-s u 


TT 
L 
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个 码 长 为 n HORE) mG, ME— TAE M Pn ERE n, xy | 的 集合 。 如 果 一 个 码 字 
x= (xxz 在 信道 中 传输 ,接收 到 的 将 是 7=x+z, 其 中 z 的 分 量 是 相互 独立 的 高 斯 随机 变 
景 ,均值 为 0, 方 差 为 o*。 这 种 编码 的 译 码 规则 是 从 所 有 rn 维 矢 量 y 的 集合 到 该 编码 的 一 个 觅 
Hf. 假设 传输 的 是 第 i TEF, 则 错误 概率 PY 表示 译 码 失败 的 概率 , 即 PP = 
Pi f(y) «x, | 传输 的 是 x | ,其 中 y=x+z 同 上 ， 


定理 4.2 {高 斯 信道 编码 定理 ) 给 定 8 社 0, 则 对 于 任意 >B,R<C(B)= z log (1 + 
Bio’) VAR o> OFA SBE n HAC] j a xy! ,以 及 相应 的 译 码 规则 ER: 


(a) 2 = n ,对 于 FE 一 2 一 【和 

(b) M>2 l, 

(c) Py <E, 对 于 所 有 £=1,2,°°,M. 

证 明 : 由 前 面 的 讲解 可 知 . 可 以 选择 一 个 只 有 有 限 沾 取 慎 的 随机 变量 下 ,满足 天 (下 ) 二 及 ， 
使 得 TCX YER BUF C(B)。 相 应 的 一定 不 是 离散 的 ,但 是 由 于 随 着 量化 [了 j 越 来 
AmA, T X; Y) = imi X YL K K(1.17)], TARH — A 8 KER PU p 3 | Y I, AE 
KX; E] > R. AX 6) 53 392. FLY] RAE A 39 AMARA E(X')= B FR hl 
Hee LIE AREA T R, AIRE 02.4, 7K ER l ñ BE — F i 85 U AN 
满足 (aj,fb) 和 (ec) 的 结论 ， 


4.2 高 斯 信 源 


这 里 信 源 的 全 称 为 “离散 时 间 无 记忆 高 斯 信 源 ", 它 的 信 源 符号 集 A, 是 全 体 实 数 的 集合 ， 
而 信 源 输出 由 独立 . 同 分 布下 态 随 机 变量 的 序列 OU, 态 ,描述 ,随机 变量 的 均值 为 0 方差 为 
。 本 节 的 目标 是 计算 对 应 “平方 误差 "失真 测度 的 信 源 的 率 失真 图 数 ,这 里 的 信箱 符号 集 A, 
也 是 实数 的 集合 ,而 信 源 符号 u MAAS o 之 间 的 失 呐 上 度 由 下 式 给 出 ; 


dlu, D) = (u — vy (4,14) 
me HARI, 
1] a” med = c° 
R(d) = 人 bs >g (4.15) 
0 WE å = a? 






0.25 0.50 


eer? — I 


图 4.2 商 斯 信 涉 的 率 失真 函数 
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er fa ie LF FEE [25 A BR E Se PA A AE, SCA Kk HHB R — A 
实数 4 需要 无 限 多 个 比特 ,所 以 了 解 如 何在 表示 实验 输出 的 比特 数 与 最 终 和 失真 度 之 闻 进 行 折 
中 是 很 有 意义 的 。 根 据 式 (4.15) 中 的 定义 , 邵 果 允许 的 最 大 均 方 误差 是 6, R(8) 实 际 上 是 充 
分 表示 一 个 高 斯 随机 变量 (方差 为 2) 所 需要 的 最 少 比特 数 。 这 个 事实 将 被 信 源 编码 定理 , 即 
定理 4.5, 以 及 第 5 章 的 结论 所 证 实 。 

为 了 得 到 式 (4.15) ,我 们 首先 定义 对 应 均 方 误差 测度 [ 见 式 (3.3)] 的 高 斯 信 源 的 阶 率 失 
HAR N: 

R,(d} = inf AU; V) : EQU — YI) = kó) (4.16) 
REATHA EAIA Wk RY) k SERA XP U=(U 02. UAV =, 
Viel P: 


U0, U, ssh r SA 0.772383 o° WBE (4.17a) 
k 
E(\\U — VI?) = $ EU — V7] = kò (4.17b) 
i=l 
U Al V ORK at thA RERAN plu, o) h (4.172) 
A ERE RCO) ME LIBR.) IA: 
R(S) = inf Pld) (4.18) 


同 第 3 章 中 对 高 散 无 记忆 信 源 的 结论 一 样 , 式 (4.18) 中 的 下 确 界 在 天 = 1 时 已 经 达到 。 但 是 在 
证 明 这 个 结论 之 前 ,要 给 出 R,{6) 的 解析 表达 式 , 它 当 然 也 就 是 R(5) 的 值 。 


定理 4.3 


2 
1 a tes = 2 

TE {0 FN: ó =o 
0 wE 5 =o 


证 明 ; 选取 3,e >0 和 一 对 随机 变量 (U, VA: 


NU; V)< RO) + £ (4.198) 
UDAAN, CMA 0.3 2 3 a° (4.19b) 
EKU — vy] = Š (4.19c) 
U,VAA-SRBRS BREDA plu,tu) (4. 19d) 


根据 定 义 (4.16) 式 和 条 忻 (4.17) 式 ,这 是 可 能 的 。 由 去 (4.19c) 和 式 {4.19d)， 
ó = | | pew DY u 一 vy du do 
(4.20) 
= [pew) | pula — vp) du du 
其 中 pü) = |p( u,v) du EV it RB Lm pCule) = plu, v) plv) Æ Æ V = ç #F U 
的 条 件 密度 。 根 据 式 (4.20), 如 果 我 们 定义 : 


as k gu bzi re eed l 
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dV) = | Poulet ~ vy du (4.21) 


则 S(tw) 对 于 几乎 所 有 的 bs RAE, AUREL AAA ACUI V a=) 对 于 
几 平 所 有 的 值 都 存在 ,并 且 事 实 上 ， 


AUIE = p) = ~ [pudo plulpy dt 
(4.22) 
= Slog 2:reó(t) 
现在 根据 定理 1.10, 
AU; Py = AU) — (UIP) (4,23) 
但 是 h(U)= 方 log2xer "(参照 人 1.13), 3 4AR36K04.20). A (4.21) 36 A (4.22), 
h( ULV) = POLCA V = v)de 
< | plo) {F log(2med(v)) fdo 
= | f(d(v))plw) de [AR HX (4.22) ] 
其 中 f(x) = 5 log(2er); 由 于 fx) 是 上 三 门 的 ,因此 根据 Jensen 不等式, 我 们 有 : 


(U | V) < /(|s()p() dv) 
= f(é) 
= Flog(2ned) 【根据 式 (4.20) 1 


因此 R (dé) +e> IC; V)z loge’/6 A ib +z TO AH erO 3R m 3 FATA 
任何 情况 下 都 有 R (全 ) 20, KT: 


2 
R (0) = max ( log = o) (4.24) 


下 面 要 证 明 的 是 下 界 (4. 寻 ) 式 是 精确 的 。 为 此 ,注意 如 果 上 个 < 人 ,而 了 是 一 个 均值 为 吕方 
£4 -全 的 高 斯 随机 变量 ,并 且 如 果 UAV+GC HRY CAMATV YH BJABW3 0.2 2 
为 证 的 高 斯 随机 变量 , 则 当 包 =1 时 (下 满 足 式 (4.17), 因 此 R (6)= 10 U;V)= KUU) - 
hCUIF) = h(U) - ACG) = + logon? — Flog? x08 = -3 loge" /6( 见 习题 1.27). AAD, 
wE Sogo JAR ç > OHI V S — 2 £ 3 e 的 高 斯 随机 变量 , 则 G Z — F BA’ 一 
的 高 斯 随机 变量 ,这 样 仍然 满足 式 (4.17), 因 此 R (0ó)=<= I(U;V)= hk(U)- hCG) = 


L log? naa” -log2re(o - e) =F logli + e/la? -e)l 由 于 这 对 于 所 有 e >0 都 成 立 , 在 
这 种 情况 下 RI{8)s<0。 因 此 下 界 (4.24) 式 同时 也 是 上 界 , 从 而 完成 了 证 明 。 
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《在 定理 4.3 证 明 过 程 的 最 后 部 分 所 描述 的 U 和 VV 之 间 的 奇特 关系 ,经常 称 为 计算 RGG) 
的 “ 反 同 "试验 信道 ,因为 它 可 以 描述 为 如 图 4.3 所 示 ,尽管 事实 上 U 是 信 源 而 了 是 信 宿 ! 这 
个 试验 信道 的 “ 正 向 "描述 见习 是 4.18.) 


Gr 


图 4.3 :个 高 斯 信 源 的 反 向 试验 信道 


现在 就 可 以 计算 RCS) Í. 


l 


定理 4.4 STA S k. Rila) = kh (6), ROS) = R (8) = max| + loga2/8,0) < 


HERA AR e > 0, HR U=(U,, Ue VE VAI) Fe FAH — HT 
MPLA, 

IU; V) < R(Ó) + ë (4.25) 
于 是 根据 定理 1.8, (U; V) SY UaV) <。 如 果 我 们 定义 6, = E[( U, - Vy]. BAR 
WR, (S)MRR, ICU; V.) = R (8), HRBR (417) 21 5 =< 6. # # 
ST" Ri(6,) >z kR (Š) z kR (0) ,其 中 8 = kl 8, ,这 是 由 于 根据 定理 4.3, R (8) 
# Fu 6 3 E 3 Tk. Bub, 

R,(ó) + £ > HU; V) 


k 
=$ KU; V) 


=Í 


k 

= > Ri (ó;) 
i=l 

= kR (ô) 

= KRICO) 


因为 这 对 于 所 有 e >0 者 成 立 , 所 以 有 RCO) SER, (6). APM RS FFA EUU, Vers 
(U,V) 是 达到 RR(8) 的 反 向 试验 信道 的 独立 相同 复制 。 则 对 于 6 <o 3 R A (4.17) 
EIU; V) = (k/2)loge/8, (ST Seo’ ,证 明 是 类 似 的 , 留 艇 习题 4.20.) 
FE wë 只 (8) 定 处 中 的 灯 忻 {4.17c) 式 被 替换 为 ; 
KV ARAM £ + CE (4.17e') 
RIDERE., 这 是 习题 4.21 的 内 容 ， 


在 本 节 的 最 后 一 部 分 ,我 们 介绍 高 斯 信 源 的 信 源 编码 定理 。 本 书 中 , 码 长 为 的 信 源 纺 
码 是 一 个 包括 村 个 让 维 欧 几 蛙 得 矢量 的 集合 C= |V, n, V l Ü WR ua ERAI k ERKL 





re De eee ee er 
~ 
=. 





PAE MAT Fels 28 79 


BRAS EX 入 册 ) 是 使 欧 几 里 得 距离 ma- 下 尽 可 能 小 的 一 个 码 字 w。 册 该 码 的 平均 失 


HEE: 
] 
d(C) = z Ehu — fwli (4.26) 


其 中 的 期 望 对 应 上 的 一 个 下 维 、. 均 值 为 0 方差 为 e 的 高 斯 分 布 。 显然 如 果 用 这 样 的 编码 
来 表示 一 个 高 斯 信 源 , 则 每 个 矢量 ul 如 果 用 它 的 码 字 所 由 表示 | 就 可 以 被 限定 为 | log M HE 
特 , 并 且 最 终 的 每 符号 均 方 失真 度 是 di G). 
定理 4.5 设 R(5)= max( 二 logo275 ,0] 表示 对 应 均 方 误差 失真 测度 的 高 斯 信 源 的 率 兴 真 
AR, SE O20, PRR > R(6)3F B S' > 68, 则 对 于 是 够 大 的 亡 值 ,存在 一 个 包含 M 
个 码 宁 的 迟 源 码 忆 ,满足 : 
(a) Ma?! 
(b) d(C) < ë 


证 明 ; 如 果 Oe HEARKE 1 65360 am F 0,32 J Aik #] AH, AOA HOR 
Seo , 设 (U,V) 是 在 定理 4.3 证 明 过 程 中 描述 过 的 达到 ROOM e A 39 Bw; N. 
图 4.3. 选 择 6, 和 8, A: 


ó < 6, < ó; < ó' (4.27) 
j F RAR BE a fo R IR k 3 BARRA IRD MELA: 
E{(a(U) — BMP} < ó, (4.28) 
E{(U ~- aU) } = (4.29) 
其 中 ， 
£ + 2 / EÔ, + Ó, < ó' (4.30) 


(这 是 习题 4.22 66 E.) AIM E p ARRIVE aU) E is 4 35 45 POR 
值 相同 ,并且 失 真 度 函数 dlu,u)=(u- 5), RHIM1.M, IL a (U);8(V)]= ICU; V) = 
R (8), e RR A E M k 4538 65 RRA BRA 中 ,根据 式 (4.28) 有 : 
R(OI} = R(O) < R (4.31) 
因此 根据 离散 无 记忆 信 源 揭 信 汰 编码 定理 (定理 3.4], 对 于 司 源 a( D0) ,存在 一 个 码 长 为 
k AIia OR Be 2 RAL: 
M = 2l] (4.32) 
d(C) < Ó; (4.33) 


现在 考虑 将 这 个 编码 应 用 于 最 初 的 信 源 U wR uslu, ARKEA k hE 
ILAE HAE v 是 最 接近 于 alu) = Cal),…',alw,)) 的 信 源 码 字 , 则 | n-v,|| = 
llu-a(u)] + faln) -vY,] 中 ,因此 祖 据 Schwarz FFA”, 

E(\(U — Vi) = EIU ~ a(U)||2] + Ella) — Vill?) 


(4.34) 
+ 2 E[||U — (HPI ERa) -Vi 一 
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其 中 VW 表 示 最 接近 于 随机 变量 如 的 码 字 。 但 是 根据 式 (4.29) Ef | U-a(U)|]| ]= ke, 
HARA SDE || eC) -V, |7] < 司 ,, 因 此 结合 式 (4.301) 和 式 (4 34) ,我 们 得 到 ， 
E[I|U ~ V,|2) < kd’ (4.35) 
该 式 与 式 {4.32) 钻 合 即 证 明了 定理 。 


习题 


4.1 考虑 一 个 4y = A, = 实数 轴 的 信道 , 它 的 输出 Y eA X 与 一 个 独立 噪声 随机 变量 Z 的 
和 ,2 均匀 分 布 于 [ - 方 , 方 ] BRA x 受到 181< 8 的 限制 。 如 果 8 是 一 个 整数 ， 


证 明 容 量 [ 类 似 于 式 (4.8) . 式 (4.9) 和 式 (4.10) 的 定义 ] 是 CC 8) = jog(28+ 1)。 如 采 BA 
EBRMS EAH? 
4.2 考虑 一 个 如 图 4.1 SRR Ree BP 2 ERE Ee X 


并 且 具 有 方差 中。 如 果 ECA?) < 8, 证 明 相 应 的 容量 满足 了 log(1 + pict) <C( A) = 
地 log((B+ 10?), 其 中 ci = exp 28 ( Z) ]/2res (HE: MUAH 1.30. ] 


在 下 面 的 了 道 习题 中 我 们 将 简要 叙述 一 个 高 斯 信道 编码 定理 的 证 明 , 它 在 某 些 方面 比 定 
理 4.2 强 ,在 某 些 方面 则 比 定理 4.2 盟 。 这 一 定理 将 指出 下 面 这 个 量 的 意义 ; 


— SO 
定理 的 内 容 是 : 

高 斯 信道 的 R 定理 ”对 于 任意 R< R ,都 存在 一 个 码 长 为 .有形 =12 个 码 字 的 编 的 
每 个 码 字 的 坐标 为 *vY8, 同 时 对 应 一 个 译 码 规则 , 使 得 如 果 以 P, = 
(>l PO) AM 表示 平均 译 码 错误 概率 , 则 Pe <2” 

(这 个 定理 比 定理 4.2 强 , 蚌 在 于 它 给 出 了 Ps 作为 n 的 一 个 果 数 能 够 达到 多 小 的 精确 估算 。 
它 的 弱点 是 R < C) ,因此 当 速 率 R< R< CCB) 时 ,不 能 说 明 Pi 一 0 的 可 能 性 .) 


4.3 首先 证 明 对 于 一 个 只 有 两 个 码 字 x ox, | 的 编码 ,如果 译 个 器 选择 的 是 与 接收 天 量 了 最 
接近 { 欧 几 里 得 距离 最 小 ) 的 码 字 , 则 错误 概率 为 : 


Pl x2] = lle — x20 /20) 
其 中 Qla) = (1 /22)| ç ?ds 
4.4 接 下 来 证 明 一 般 情况 下 ,如 果 编 码 1x,,… yy | 按照 最 近 码 字 策 略 进 行 译 码 ,并 且 如 时 
PO 表示 传输 x, 时 的 译 码 错误 概率 , 则 ， 
pl = s Py(x;, x) 


sal 
IFA 
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4.5 然后 证 明 舍 计 : 


gia < de, a > Ü 


4.6 现在 设 所 有 码 字 的 坐标 为 +vV8, 而 d,(x x )(x, Gx, 之 间 的 汉 明 距离 ) 定 义 为 x Hx, 
之 间 不 同 仅 标的 个 数 。 证 明 ， 


Mf 
n) 村 基于) 
P < y pee 


fol 


sft 


其 中 y=e 下 。 
4.7 利用 习题 4.4 的 结论 ,得 出 下 面 的 平均 估计 值 FE PW], 其 中 码 字 的 坐标 是 根据 分 布 


P{x= +YB} =P{x= -YB}= 池 独立 选取 的 : 
anu. (42) 


4.8 现在 通过 选取 w= 2” |, cca R, 定理 的 证 明 。 
4.9 最 后 证 明 : 
(a) lim, Ro (B) = log2 





在 下 面 的 7 道 习 题 中 我 们 将 研究 量化 对 高 斯 信道 的 影响 。 如 果 继 续 假 设 输入 X BER 
个 离散 值 ,而 输出 了 被 量化 为 至 多 是 ; 个 不 同 值 中 的 一 个 , 则 以 Co (8) 表 示 高 斯 信道 的 容 
量 。 对 于 所 有 的 n, RIERREN CU?) = supt IO X fO Y). fC, Pe ET 
X, BSR, SARA, D) E(X1) = np, Y, = 总 + Z, ,其 中 Z, 是 相互 独立 ,均值 为 0 方 
差 为 r 的 高 斯 随机 变量 , 面 上 是 一 个 至 多 可 取 * 个 不 同 值 的 任意 多数 , 干 是 C (8) = 
sup,n ”| ct" (Bo 
4.10 证 明 Ct2(8)= CU (B) 
4.11 证 明 lim, a CUP ( 8) = 5 log(1 + B1o)。[ 证 明 简 还: 首先 证 明 对 于 一 个 回 定 的 > 值 ， 
lim, a CUP (P= Co” (PBR CCP (8) = supl IX; YAH APRA 
饥 所 有 随机 变量 x BB, XY BSR SPAR ECM) <p iM Y= + Z 中 的 Z JE 
相互 独立 .均值 为 0 方差 为 o 的 高 斯 随机 变量 。 利 用 公式 TO X;:Y)= ACY) -A( 2) (4B 
照 习题 1.27) 证 明 c” (8) < log(1 + Blo?) o HERS 下 是 一 个 均值 为 小 方 差 为 8 
的 高 斯 随机 变量 , 令 hon, 是 将 实 办 划分 为 r 个 区 间 的 一 种 分 割 ,和 且 对 于 每 个 i =1,2,…,r 
AREL Bla, |1 尽 可 能 小 。 定义 新 的 随机 变量 X, PY = xl = PIXC hi, i= 
1,2,… roll Ct) CB) me ICO Y + Z) 现在 , 随 着 r oF ,分 割 变 得 越 来 越 精细 ,根据 
Lebesgue 的 控制 收敛 定理 ,有 (X + Z) >h(X + Z) = logo? + B)。 因 此 ， 


机 


` 
PAn oe m 
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limp C NB) = llog(1 + P/o’) 
4.12 对 于 固定 的 + Ms DER limy2-... CU (8) = min(logr, logs)» 
4.13 iE res We’ (asc Cs). (eae H. Rumsey, Jr 444. | 
4.14 如 果 pio? = a? EAA C7 (8) = a° - [ey log cosh(a’ + ay)dy ,其 中 gly) = 


(2r) 2 6 ?, HERATA a HA, COO (8) = 7/2 - 44 00°) ,注意 这 实质 上 等 
于 未 经 量化 的 容量 C(8) = 方 log(1 + o)。 因 此 有 我 们 熟知 的 定理 “在 小 信 噪 比 条 件 下 ， 
一 进 制 输 人 量化 无 损失 ”( 见 习题 4.9b)。 事 实 上 对 于 a cl, EEA C7’ (BC) 20.97 
Fa de BVO S 

4.15 寻找 c?? (全 的 一 个 表达 式 , 并 证 明 lim-o CP (8)7C08) =24r。 由 此 有 我 们 熟知 的 定 
PE“ Ze J EBR EL SR A F , EA E E CLLR 2 dp” (注意; 无 量 网 的 比值 8 等 于 Ologo? 
“dB” ) 

4.16 利用 数值 方法 ,证 明 对 于 小 的 a 值 , CU” (8) = 0.4050? + O(a"), WL CU ( 8) = 
0.44107 +0(a°), HP r>2, 

4.17 [注意 ; 当 噪 声 过 程 zx( 虽 不 是 白 品 声 时 ,本 习题 的 结论 可 以 用 于 计算 “波形 信道 的 容 
量 ,] 考 虚 n 个 并行 "高 斯 信道: 


其 中 Z, 2,,…,Z, 是 相互 独立 、 均 值 为 0 的 高 斯 随机 变量 , 且 var( Z,)= 07. EMR 
量 " 为 C( 2) =pl I(X;Y) i RAEHAN A WE >， ECX) =< 他 的 输 人 分 布 得 到 
的 。 证 明 C(8) 的 参数 表达 形式 如 下 : 


] H 
B = poe =0 


I< gz 
C(B) = > z) 


f=1 


其 中 独立 变量 o? 的 取 值 范围 是 从 mino? #| B, 
4.18 本 习题 的 目的 是 ,对 于 高 斯 信 源 和 均 方 误差 失真 测度 ,推导 出 一 个 达到 RCO) 的 “前 向 * 
试验 信道 。 回 忆 一 下 版 需 的 条 件 :U 是 均值 为 0. 方差 为 a? 的 高 斯 随机 变量 ,6 < o° ,而 


FRM V DIRE EU- VP] = RIU V) = 方 loge*1$。 证 明 通过 合理 选取 6 和 
o ,可 以 取 V= aU + Z, KPa 是 常数 ,而 Z 是 高 斯 分 布 的 ,方差 为 o ;或 者 取 V = 
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38tU+Z2), 其 中 8 是 常数 ,而 2 是 高 斯 分 布 的 。 这 两 个 "前 向 "试验 信道 可 以 描述 为 如 下 
FE BIT cis 


4.19 考虑 一 个 信 源 U,V ,…, 其 中 5 PA LE, BOE ee plu) 


和 方差 s+。 证 明 这 个 信 源 的 率 失真 函数 满足 R(8)<<max|  logo’/3,0) .( 提 示 : 利 用 习题 4.8 


中 的 前 向 试验 信道 .) 

4.20 证 明 如 果 Sao’? M R,(8)=0, ( 见 定理 4.4 的 证 明 、 记 住 {U,V) 必 须 有 连续 的 联合 概 
率 密 度 , 轩 此 不 能 定义 Y=0.) 

4.21 本 习题 的 目的 是 证 明 , 如果 将 条 件 (4.17c) 式 换 为 条 件 (4.17c') 式 , R(6) 的 值 将 不 变 。 
在 下 面 证 明 的 简 述 中 ,假设 =1 且 6<0o 。(k Md MERE JERS, A 
有 给 出 提示 .) 你 的 I. 作 足 补充 细节 .因此 令 局 (5) 表示 满足 式 (4.17a)、 式 (4.17b) 利 


式 (4.170 AY (VU; 耻 的 最 小 可 能 值 。 为 证 明 K' (6) «(> ) logo’ /6, an HE 4.3 HJ uE HBH 


中 所 述 OU, VAS R (8 - 的 一 个 试验 伴 源 。 选 择 e >0, 并 令 VEY NTH 
ERA, CARS PR WE EUU- VY] <6. WIU: Ve ICU; V) = 
R (8-6), m R'(8)< dogo’ 8 — e); FIR MAPA > 0 都 成 立 , 所 以 R (S) < 


J hogo?/8. 为 证 明 R (8) > 2 logo?/d, & CU, 让 是 满足 式 (4.17a)、 式 (4.17b) 和 
Rid. 17e Pa TCU Vc RCO) +e. OV VAG 其 中 心 是 独立 于 了 
的 .均值 为 0, 上 方差 为 e 的 高 斯 随机 变量 。 则 (UU, 下) 试验 信道 满足 式 (4.17a) 和 
式 (4.170) A ELC UWP ledte, AA KU; VOI U; 中 ,由 此 得 出 Rie) +e > 
4 logs? /(8 + e). 又 因为 这 对 所 有 的 e 值 都 成 立 ,所 以 RY (8) = blogos 

4,22 EW ERR alu) A PCr) ,满足 式 (4.28) . 式 (4.29) 和 式 (4.30)。 

4.23 (香农 下 限 ) 考 虑 一 个 信 源 U, ,5,,…, 其 中 U; 是 独立 . 同 分 布 的 随机 变量 ,具有 相同 的 
密度 函数 plu AAT ACU). + fo SORE x 的 任意 非 负 倘 函 数 ,并 根据 失真 
WE d(u,v=flu-v LPR SRABRA RCO) = inf IC U; V)I RR 
Brag GRRL Om BEI AP U OA plu) (U, V VARRE 
RRR H ELU- V)]= 8, (RRL ATS 4 RRR MME ROUT 
式 (4.16) ,而 RG6) = ifik !'R (8), 然而 ,由 于 R,(8) = kRI(6), 所 以 本 习题 的 定义 实 
际 上 蚌 与 之 相同 的 ,] ELP) =pl AXN E[f(X)]= 51, 证明 R(O)SR, (6) =A U) 


P) 提示 ;首先 证 明史 (5) 是 6 的 上 同门 落 数 , 则 如 果 85(v) = [flu - v)plu | v)du, 
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下 = 县 
A(U|V) = fao] ptuivyog g tE 
| = [aoao dv 
| < rosom 
= @(ó) 
| 4.24 (22) A FRY 1.35 的 结论 , 舍 计 下 述 情 襄 下 的 香农 下 限 R (8): 








(a) plu) =a f(x) = 人 
| (b) plu) s ghe, fla) = le 
(e) plu)= (l+ 2) 2, fx) =x! 


| 4.25 通过 构造 一 :个 合适 的 试验 信道 ,证 明 可 题 4.24b SHR RS) = R,( 8). 

: 4.26 [注意 ;本 习题 的 结论 可 作为 研究 有 记忆 高 斯 信 源 率 失 真 函 数 的 出 发 点 、 见 Berger[ 13], 
第 4 章 ,] 考 虑 个“ 并行" 高 斯 信 源 U, Ue, UB U 是 相互 独立 .均值 为 0 方差 为 
s: 的 高 斯 随机 变量 。 定 义 RCO) = inf U; V)} ,其 中 极 小 值 是 取 遍 所 有 (U;V) 对 而 得 
到 的 ,(U;V) 具 有 联合 概率 密度 , 且 D. ELU, - V] = kó , WEB RO) 的 参数 表达 
形式 如 下 : 


其 中 参数 o 的 取 值 范围 是 从 0 到 masio 
4.27 根据 1.3 节 的 定义 ,证 明 商 斯 信道 是 无 记忆 的 。 


it 


[1] 约翰 迁 {Johnson) 品 声 的 谱 密 度 是 N. = 好 ,其 中 上 = RAR ES ( Boltzmann) WR = 
1.38x10-2JfK, 而 了 是 有 效 品 声 温 庭 ， 实 际 上 谱 密 度 依 赖 于 频 革 ,为 PCP) = bff 
(eT - J) RK 8022, H. f 是 以 茶花 为 单位 的 频率 ,hh = W£ BB va ( Planck ) 3X = 
6.6x 10-3# 焦 耳 - 秒 。 只 有 当 信 和 号 8 (7) 的 大 部 分 能 量 局 限于 使 近似 公式 PCP) = No 


有 效 的 频率 范围 内 时 ,推断 ” | 2¢ 1) P(t) dt BABA N f2 BR REL RAE 


(RER 2) 。 而 实际 上 直到 非常 高 的 频率 这 个 近似 公式 都 是 基本 有 效 的 ;例如 ,如 
Af < O.02kT/A =4x 10 Tr, H] 0.994, < P(f) < Noo (一 个 实际 应 用 是 ,卖国 航空 舱 
居 局 (NASA) 在 加 利 福 尼 亚 苹 尔 德 斯 通 的 64 米 天 线 , 了 = 25°K, f= 10° - 10", f = 





D Gl, pian ba xw com| | 
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O.01AT/A.)[ 25) Feynmann,Leighton 和 Sands[5], 第 1 卷 ,第 41 章 .] 
[2] 这 个 相当 随意 的 带宽 定义 需要 一 些 说 明 。 在 物理 学 领域 ,通常 需要 限定 传输 信息 
x(4) 的 频率 不 高 于 某 个 固定 极限 值 { 比 如 oa), REL RRR BY fl > W 


时 , 傅 里 叶 变换 X(/) = | axle di 成 为 0。 如 果 是 这 种 情况 ,根据 傅 里 叶 积分 


定理 , (O = | XPI ,这 表示 z 是 1 的 解析 函数 。 但 是 对 任何 物理 可 实现 
信和 号 ,1 <0 时 x(1) =0, 这 意味 着 x(4) 恒 等 于 0。 因 此 不 要 求 X( 用 对 | 有 > W ER 
0, 而 是 选取 O< e < 1, 并 做 较 弱 的 假设 ;x( 4) 至 多 有 e 部 分 的 能 量 在 频带 [ - W, WI, 
即 xD 人 | XQ > 1 - e 。 这 个 约束 条 件 眼 定 了 [0,7] 时 间 段 内 所 能 
选取 的 正 交 信号 个 数 的 极限 为 n = nt7,e)。 实 际 上 可 以 证 明 lim; -o R (T. /2T = W 
对 所 有 s > 0 成 立 。 这 就 解释 了 为 什么 定义 W 为 n127 而 不 引入 带 限 函 数 的 不 精确 
概念 是 合理 的 。[ 参 见 Gallager[ 17] ,第 8 章 。 ] 

[3] 这 里 引用 的 Schwarz 不 等 式 的 概率 形式 是 :如 果 X 和 站 是 定义 于 同一 样本 空间 上 的 
随机 矢量 , 则 ECV)! <ECXPIECY). 《参见 Feller[4] ,第 2 着 ,v.8 节 。) 
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第 5 全 信 源 -信道 编码 定理 


本 章 是 第 一 部 分 中 最 重要 的 章节 ,这 里 将 应 用 第 1 章 至 第 4 章 的 结论 ,研究 一 个 信息 源 的 
输出 在 噪声 信道 中 传输 的 问题 。 在 整个 这 一 章 里 ,将 梁 用 图 5.1 中 的 方 框图 作为 我 们 的 示例 - 


U X 
— Ss e s ms 
EES (Uy by Up= SR Re OX, KX) oe 
了 Tess: 
POE pn eee 
= >| ait} 1, F.. `. F) Hes iF., k. my P.) —W rri 
(W ES) ( 信 宿 序列 |) 


图 5.1 一 个 通用 的 通信 系统 


事实 上 任何 实际 的 通信 系统 都 串 以 归纳 为 图 $.1 中 的 模型 编码 器 模块 代表 在 传输 之 前 
对 信 源 输出 所 做 的 全 部 数据 处 理 ( 可 能 包括 量化 .调制 ,以 及 差错 控制 编码 )。 假 设 存 在 整数 
和 pm ,系统 可 以 独立 地 处 理 顺 序 的 .包含 下 个 信 海 符号 的 分 组 ,并 将 它们 转换 为 顺序 的 . 包 售 n 
个 信道 输入 符号 的 分 组 .例如 上 可 以 是 系统 运行 期 间 信 汝 所 输出 的 全 部 符号 的 个 数 ,但 是 
对 于 大 多 数 系统 ,上 的 取 值 要 小 得 多 .) 假 设 信道 在 离散 时 间 间 中 内 接收 信道 输入 符 导 ,并 一 一 
对 应 地 输出 相应 的 便道 输出 符号 二 。 信 道 是 “ 访 散 时 间 " 的 假设 并 不 是 一 个 很 严格 的 限制 , 因 
为 大 儿 数 “连续 时 间 " 信 和 道 可 以 看 做 是 “离散 时 间 ” 信 道 而 损失 很 小 。" 译 码 器 "模块 代 表 在 将 入 
道 输出 传送 给 信 宿 之 前 所 做 的 全 部 数据 处 理 、 假设 译 码 器 独立 地 处 理 顺序 的 .包含 二 个 信道 
输出 符号 的 分 组 ,并 将 它们 转换 为 包 售 下 个 倩 宿 符 号 的 分 组 ,入 宿 序列 V =V, Vt’ Wi) 是 
系统 对 信 源 序列 Us (U U2 OTT o 

现在 按照 方 框图 5.1 回顾 -- 下 本 书 第 一 部 分 的 基本 结构 。 在 下 面 的 讨论 中 ,我 们 将 来 用 
非常 通用 的 信道 和 信和 源 模 型 ;但 是 读者 应 该 注意 到 ,这 里 只 是 针对 某 些 特殊 情况 证 明了 相应 的 
编 个 定理 。 

首先 考 虚 信道 。 给 定 信 道 输入 符号 集 A, 和 输出 符号 集 4,; 对 应 每 个 输入 符号 x€ Ay 
在 一 个 非 负 的 实数 B(x), 即 “传输 x 的 代价 "更 普 志 地 ,对 应 每 个 X= t da) E Ax, 
B(x}) 是 传输 x 的 代价 。 另 外 ,给 定 信道 统计 分 布 , 即 对 应 每 个 n 给 定 条 件 概率 分 布 ” ,使 得 一 
日 知道 输入 X= (X... X ) ,就 可 以 计算 输出 立 = (Pi 了,) 的 分 布 ， 对 于 所 有 的 正 整 数 n 
Al GeO, M C (B)28: 

C,(B) = sup{ I(X; Y): E[b(X)] = nB) (5.1) 


式 (5.1 们 中 的 十 确 界 是 取 遍 所 有 取 值 于 A 的 并 满足 E[b(X)1= n9 B9 n 3EBRULA OX = (X... X. ) 
而 得 到 的 ,和 而立 是 取 值 子 At 的 = ELA, RAD X, Y BE. A 
中 到 称 为 一 个 n 维 、8 -- 容 度 的 试验 信 源 。 信 和 道 的 容量 -代价 函数 CEN: 


4 i 
l 和 WWM, a ' 
H Pa . 全 = ' z fei al 1 .了 IF a 
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l 
CEP) = sup} cp n= 1,2, 四 (5.2) 


A “4 Bs Ba = infi bx): x € A. IB, COQ BADER. EONAR LAR. F BL 2H 
C( 8) A BEI ( Pr 8 A Boe BA 2 为 基底 )}: 

信道 编码 定理 :给 定 B= R. MITRAL BoB, < CC08) ee>0 的 性 意 三 个 参 变 量 

(B.C ,ss) 和 所 有 足够 大 的 于 值 , 存 在 一 个 而 长 为 n ANS X, U Xr ARPA 

规则 ,使 得 : 

(a) BPBPSRBA B(x J nf. 

(b) Malt”, 

(e) PP <e,i=1,2,. ,My 

(Po 是 传输 xX 时 译 码 失败 的 概率 。) 

接 下 来 讨论 信 源 。 给 定 信 源 符号 集 A. ,信和 宿 符号 集 4 以 及 对 应 每 一 对 (ubbJE Ay x Ay 
的 一 个 非 负 实数 值 d(u,v)( 尼 表示 信 源 符号 二 到达 信 宿 时 变 为 的 “失真 ")。 更 普遍 地 ,对 应 
每 个 正 整数 让 和 每 一 对 fu,y)E4x dr WERF] = (起 ) 到 达 信 笨 时 变 为 序列 
Y= {0 ,……, 纪 ) ,dlu,Y) 是 对 全 部 失真 的 度量 。 另 外 ,给 定 和 信和 源 统计 分 布 , 即 对 应 每 个 ,给 出 
EX ROH: 

R,(ó) = inf{ AU, V): E[d(U, V)] = kó} (5.3) 
ASF of PLE A OAL Al A k SEL TU V) = (Ure U; Vi Ka 
而 每 介 的 ,其 中 末 的 边缘 分 布 由 信 源 的 统计 分 布 给 定 ,并 且 g[d4 (U; V)] < kó, AE 
式 (5.3) 中 我 们 真正 改变 的 是 给 定 U 时 的 条 件 分 布 ,而 这 个 条 件 分 布 称 为 维 试 验 信 递 ， 
式 (5.3) 中 是 对 所 有 上 维 ,5 -- 容 度 的 试验 信道 求 下 确 界 。 信 源 的 率 失 真 函 数 定 义 为 : 


R(ó) = int) Rð) k = 1 2， | (5.4) 


‘EAH s>s 时 ,及 (S) 是 人 的 连续 .下 止 出 和 单调 下 降 图 数 。 下 面 的 定理 介绍 了 RONE 
要 性 质 。 
售 源 编码 定理 :给 定 昌 > ó MITAA Sod ER > R(6) 的 任意 一 对 参 变量 (2 RR), 
Wim eA ea kA k Ë RA MERCH v v, vy | ,使 得 ， 
(a) M <2 a| 
(b) d(C) < & 
| E] en TS oe s Ç AEM K p. aA COM E X d(C) = k El dl(U)], 共 中 对 于 每 个 uc 
Ated aln) = min| dlu, v, j= 2 有 a] 


现在 回 到 方 框图 5.1。 注 意 到 一 旦 确定 了 编码 器 和 译 码 器 ,就 可 以 将 U, X, Y 和 看 做 随 
机 矢量 ,U 是 最 先 定义 的 随机 矢量 ,而 给 定 U 后 买 的 条 件 概 率 , 给 定 飞 后 立 的 条 件 概率 ,以 用 
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给 定 下 后 的 条 件 概 闪 决定 于 相应 的 继 码 器 设 计 , 信 道统 计 特 性 和 译 码 器 设计 。 现 在 定义 三 
个 能 够 体现 更 多 系统 性 能 的 参数 。 


平均 代价 : 
B= EIB) (5.5) 
平均 失真 度 : 
Ó = 2 ElAU: V)] (5.6) 
传输 速率 ;: 
z= (5.7) 


n 

这 些 参数 的 物理 意义 应 该 是 很 明确 的 ,8 告诉 我 们 系统 运行 的 代价 是 多 大 (基于 每 信道 输入 ); 
Š 表明 系统 传输 信 源 输出 的 可 靠 度 如 何 ; 而 7 度量 系统 传输 信息 的 速率 {单位 是 信 源 符号 每 全 
道 符号 )。 对 于 给 定 的 信 源 和 信道 ,我 们 希望 设计 的 系统 具有 小 8 .小 8 和 大 7, 但 是 这 些 目 标 
当然 是 相互 才 盾 的 。 下 而 的 定理 就 是 信息 理论 的 核心 结论 , 它 明 确 地 告诉 我 们 什么 是 可 能 的 ， 
而 什么 是 个 可 能 的 。 

定理 5.1{ 司 源 - 信 道 编 码 定理 ) 对 于 给 定 的 信 源 和 信道 ， 

(a) 参数 n. ó fep aobh.: 


(b) RAE M. ERE Q> 8.8 > 6 e r< CIRR), T ARH BA 5,1 中 所 描述 的 
-XARRA AGE pap iss 3 HB r>r. 
证 明 : 首 先 特 证 明 (a) ,证 明 过 程 中 将 只 用 到 定义 式 {5.2) 和 式 (5.4), 而 没有 采用 编码 定 
理 、 因 此 定理 的 第 一 部 分 [有 时 称 为 编码 定理 的 “ 递 " 或 “ 屏 递 ?定理 ) 在 通常 的 情况 下 都 
shy 
pe 
一 个 Markov 链 ( 于 只 通过 芭 依 赖 于 如 ,VY 只 通过 于 依赖 于 义 ) ,因此 根据 数据 处 理 定理 
[(1.15)], 

HU; V) = KX; Y) (5.8) 
下 面 注意 到 由 于 百 [6(X)] -ALLAS 8368 A(5.1)4 KX; Ys) A-AH 
AREA (S.2)€, (B)= n€(2), Bt, 

IX: Y) = nC(B) (5.9) 
同时 ,由 于 E[d(U;V)] = 6[ B, (5.6)1, 83 A (5.3) A U; V) a R, (6), BRE 
式 (5.4) 有 Ra kR(0), A, 

KU; V) = kR(ó) (5.10) 
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合式 (5.8)、 式 (5.9) 和 式 (5.,10) ,我 们 得 到 信 源 -信道 编码 定理 的 结论 fa 32 。 
Uae EN CHR OMIA Hoh , 它 只 是 CIRP RID EL AE 
Je! DARAHT THLEROHRA, SRAM GE FERRE 9285 98 
助 下 ,这 个 结论 并 不 难 证 明 。 
因此 从 现在 开始 ,假设 给 定 B> BO > Ome r< CBRE) 我 们 的 任务 是 设计 一 个 
编码 回 和 译 码 如 ,使 得 最 终 的 8,6 dar BAP B dad f r>r. 
首先 是 初步 设计 。 选 择 数 值 房 ,60 ,9 C fo RBA: 


Brn = Bo < P (5,11) 
Üm = Oy LÅ < Ó (5.12) 
C' < C( Bo) (5.13) 

R' > R(óo) (5.14) 
r< C'/R' (5.15) 


(习题 5.2 说 明 这 是 可 以 做 到 的 。) 
编码 器 的 设计 将 包括 两 个 部 分 , 即 图 5.2 中 所 示 的 信 源 编码 器 和 信道 编码 器 。 现 在 描述 
图 5,2 中 的 信 源 编码 田 。 根 据 信 源 编码 定理 ,对 于 足够 大 的 名 ,存在 一 个 码 长 为 LES 
M, 个 硒 守 的 码 CBX: 

M, = 2LR ha] (5.16) 
和 和 

AC) < à, (5,17) 

StF — AE Rm LG GEL), AMR b= kgm, 5.2 中 的 信 源 编码 器 将 长 
RA k 054538 EA UU 划分 为 m TERS kh 的 分 组 ,并 且 对 应 这 个 信 源 分 组 序列 输出 m 
MERGE, BLP MAEWH (W... WV) 是 给 定 信 源码 C 中 mm 个 码 字 的 序列 ， 特 
别 地 ,假设 再 至 多 有 M gI 个 不 同 的 值 。 以 上 是 有 关 信 源 编 硝 器 的 描述 (除了 mr 的 
$A). 


TTT Ts 一 一 一 一 一 一 


EN f | FN 
FN FN 


K =< = — — — — — — — — — =w= = — — — — — — — — — — . -= = - - — — 


图 5.2 RIDAR 
为 描述 迟 道 编码 器 ,首先 需要 定义 信 源 码 C 的 最 坏 情 况 和 失真 度 。 对 于 每 个 全 源 序 列 ac 
A® jË d... (u) =max{d(u,v,):v,E Cl. Bat 4 3842 2% H h u Ta 45 OR Bh 85, kk PP OR He FT ŠK. 
RETH, I d (U) T E Sk sp $ H 36 K K K K R. BCE J E Ra K K t z X. 
3 F n 4 2 — 44, 2 BE a 28 E) 48 ; 
D(C) = — Elame (U) (5.18) 
Ü 


EW |= U. UU 


APAAPA u rika 4s k ki RH ay, (a RAS FS R Ay 是 无 限 的 ， 
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显然 不 能 立即 确定 D(C) 是 有 限 的 ;见习 题 5.6,) 定 义 ; 


£=(ó — ôC) [ 见 式 (5.12) (5.19) 
现在 可 以 描述 图 $.2 Poses, TEP m = 1.2. EMER n. 为 : 
nm = [mka R'/ C} (5.20) 


MARISE REE TTAB KW 下 ,存在 一 个 三 长 为 n. BAREA] i, 
Vi A +B E OE EL 46 48: 


b(x;) = Amf, f= 1,2,---, My (5.21) 
M, > DiC nm) = 7 tk R" (5.22) 
大 (5.23) 


进一步 假设 m 的 值 足够 大 ,使 得 : 

komf nm = v (5.24) 
[根据 式 (5.15) 这 是 能 够 满足 的 。] 图 5.2 中 的 信道 编码 器 将 m AF45 R s sr. PH x] 9. 0338 — 
个 序列 WHCW, W. )Rk f2y— ARMM KAD nan, HBSS, RAT KAY, 
因为 据 我 们 前 面 的 观察 ,至 多 有 2 PRA W, AE 38 A. (5.22) £ 4 ik Z $ A= # Fl 
的 码 字 。 
描述 完 图 5.1 中 的 编码 器 ,由 式 (5.24) 可 以 立即 得 到 F= Ein = kamin ar, A W A (5.21) 
得 到 nO = E[b(X)]= n8。 还 需要 证 明 的 是 平均 失真 度 上 迄 , 当 热 为 此 必须 设计 图 5.1 
中 的 译 码 器 图 5.3 中 描述 了 译 码 器 的 通用 设计 。 其 中 信道 译 码 器 的 原理 依据 信 遂 编码 
eC SEE TIS Y(n Y. RA 4538 E le Za (2,55, Za) 
最 后 ,图 5.3 中 的 人 入 源 译 码 器 将 信道 码 字 ZARA FH m 个 入 源码 字 的 序列 
V=(V,,- ) ,如果 存 在 的 话 。( 这 种 对 应 关系 是 由 图 5.2 中 的 ' 信 源 编 码 器 确定 的 。) 如 
BRAK m 个 信 源 码 字 的 序列 与 这 对 应 ,我 们 就 假设 信 源 译 码 器 从 信和 窒 符 号 集 A, 中 产 
生 一 个 包含 天 个 符号 的 确定 "无效 序 列 ”W = Col oa ah. 


ee 


Y £ | v 
— ! z=— — = oc M" 
(Foy Y) ae (Z,. an, Z) Pel iF. e, 1.) — 


=u. Ñ re pasak, Za T tg, a oh. “kiq: i BD: a apar tishpa ¿wai 《村 = = =- — — — — — = 


图 5.3 Pee REE 


描述 完 力 5.1 至 图 5.3 PF00645 RA, HM SAT RP HABE ó = k''E[d(U,V)]. 
为 此 引入 一 个 新 的 随机 变量 BB, 它 将 告诉 我 们 图 5.3 F 645 g 3 Sk 3 Pb pb AE T RS, 


因此 ， 
p=.) 如 果 译 码 成 功 ; Z=X 
| do RF BK 8k; Z > X 
mj, 
E[d(U, V)] = ELd(U, V)|B = 0]P[B = 0} + £[a(U, WB = IJPIB = 1} (5.25) 


J F 4 $) d 
. š be j nie 1 Ta 
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现在 如 果 召 =0, 则 表示 译 码 成 功 , 信 宿 序 列 V 与 信 源 编码 器 的 输出 相同 。 因 此 如 果 U = 
[UU .U” ,和 ”是 将 和 划分 为 站 个 包含 癌 洒 信 源 符号 的 分 组 , 则 落 B = 0, # 
dU,V)= X, d. [U], 于 是 根据 式 (5.17) 有 El d(U,V)1B = 0) = mE[d,,,(U)] < 
kam- BE Pi B=O gi, AMA: 

E[d(U, V)|B = OP{B = 0} < kó! (5.26) 
另 一 方面 ,如 果 译 码 失败 (B=1), 则 在 任何 情况 下 d(U,V)< >)" d. [U] (回顾 
d. (u) = max} dlu, v): j=l, e Mi) Be ELd(U,V) B -1ll<mEld,.(U)|B=1). 
但 是 E(d.(D)IB=1]= SV) EL. (U) | B= 1X= x] PIX=x IB = 1) fa 
由 于 随机 变 草 UX fe RESA Markov 链 ( 因 为 译 码 器 的 成 功 或 失败 只 依赖 于 传输 的 
me X, 0 Se X HERP A U KK), RM ERA E| d. CU) | 
B=]]= 51 Eldu CU) iX=x,]- PIX <x | B - 11.3 #£ PIX=x |B = = 
PIB=]1IX=x PIX=x i/P|B=1i, 2338380523) 8 TH i, PIB =lIX=vx,i = 
py ce, Bat, 

PIB = 1} E[d(U; V)|B = 1) 


M 
= me > Eldaa (Ü)|X = x] P{X = x} 
ral (5.27) 


= me Ef dmax(U)] 
= kð — ôi) Ax(5.19) 
AR ACIOA (5.27), AAA T HAt 6 = k EE[ dU,V)] < 6. 
it: PRR i AER RARE RR a) ST 0,23 Te r A B: pa 3 
C(tB8) 是 -个 常数 C... PIS FE) ,并 研究 如 何 权 衡 图 5.1 中 通信 系统 的 速率 7 和 平均 失真 
Bs. 图 .4 总 结 了 人 和信 源 - 信 道 编码 定理 的 结论 。 信 源 - 信 道 编码 定理 的 结论 fa) 是 ,对 于 任何 
可 靠 的 系统 ,一 对 (人 ,8) 必 须 位 -天 "可 实现 区 域 " WRB. Bie (be. RK hk ri 
的 任何 一 点 都 是 可 以 达到 的 ,但 不 包括 边界 。 一 般 情况 下 并 不 知道 边界 上 的 哪 -一 点 是 可 以 达 
到 的 ,这 性 一 个 相当 有 意义 的 理论 问题 (见习 题 5.4), 但 从 实际 角度 来 看 并 不 重要 , 闪 
为 如 果 一 个 通信 工程 师 所 设计 系统 的 参数 (7F,.6) 落 在 边界 于 ,那么 当然 可 以 通过 参数 
CRIES 0 实现 系统 ! 


- = = 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -- — = =w= 


F (py RG, KUU 
_ SSS —— SSS 


图 5.4 信 源 -信道 编码 定理 的 图 示 
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习题 


5.1 


5.2 
5.3 


5.4 


2.5 
9.6 


Bet 


5.8 


EPERERA -个 通过 二 进 制 对 称 信道 传输 高 斯 随机 过 程 观测 值 的 系统 。 二 进 
制 对 称 信道 每 秘 接收 100 000 比特 ,其 原始 误 比 特 概率 为 证 ;并 且 信道 传输 0" 是 免费 的 ， 
而 传输 "1" 需 花费 10“ 美 元 。 为 此 他 计划 以 每 秒 R 个 样 点 的 速率 进行 采样 (样本 是 均值 
为 0 方差 为 1 的 高 斯 随机 变量 ), 并 在 传输 前 进行 编码 。 假 设 他 可 以 容忍 的 平均 均 方 误 
差 至 多 为 6, 出 在 信道 上 平均 每 天 最 多 能 花费 BET. FEZA, ò, R) HIAR 
理论 上 是 可 实现 的 ? 








B Š R 
864 0.1 2500 
2592 0.2 150 000 
4320 0.001 11 000 


证 明 能 够 选取 数值 8, ,0),8,,C MIR fi ERS. 11) BRS. 15), 

考虑 一 个 每 秒 产 生 RCRA CPE PR ia, Ft rh m ph PORT” BE i. 
以 E, 表示 比值 PR CE BS Ee Oe, EA EN PROM ERR ik). TEA 3: 
KHA 5.1 中 所 描述 的 通信 系统 进行 通信 ,只 要 KUN, > [1 — H,( P.) llo, BA J D kE 
特 率 就 可 以 达到 p. ,反之 则 不 成 立 。 但 是 如 果 码 的 速率 7 = kin SU F E r, BEN 
EJN, 的 最 小 值 是 :2 名 12 

考 虚 将 二 进 制 对 称 信 源 的 输出 通过 一 个 原始 误 比 特 率 为 p 的 二 进 制 对 称病 道 进行 传 
‘i. 参见 图 $.4, 证 明 边 界 上 满足 56 = P 的 每 一 点 都 是 可 实现 的 。( 注 意 如 果 p =0, 则 这 
部 分 边界 是 连续 的 。) 

下 明 在 信 源 -信道 编码 定理 的 (hb) 部 分 中 条件 B> 及 ,不 是 必需 的 。 

证 明 如 果 对 于 每 个 YE AP ,期 望 值 E[ 4(U;Y)] 是 有 限 的 , 则 式 (5.18) 中 所 定义 的 信和 源 编 
ia) D(C) 是 有 限 的 . 然后 证 明 第 4 章 中 的 高 斯 信 源 满足 这 一 条件 。 

(E.C. Posner) 本 习题 说 明了 为 实现 信和 源 - 信 违 编码 定理 的 结论 而 构造 的 "分解 式 " 通 信和 系 
统 ,可 能 存在 缺陷 。 假 设 我 们 将 二 进 制 对 称 信 源 的 输出 通过 一 个 原始 误 比 特 率 为 十 的 二 


进 制 对 称 信道 传输 。{ 这 里 假设 信 志 的 使 用 是 免费 的 ,) 进 一 步 假设 要 求 S <0. 10,72 
1.0. 根据 对 定理 5.1 的 证 了 月 ,对 此 需要 首先 为 BSS 设计 一 个 d(C) 二 0.10 的 信 源 编码 ， 
Hy BSC 设计 - :个 适当 的 错误 概率 非常 小 的 信道 编码 。 证 明 丰 在 一 个 更 简单 的 系统 ， 
BE aS ASA BAIS). 

As. >J RR H BS SETHE BH , HH SRO B BR Ta R ae fig iË F 3 , BR 3 t Edal šq 
E skal S PHA E - (ae EBET2S ie. ABA MeN ere FB S: 
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A z H 
| | 
L F 
bmm 
EE. tai eis 


HU RMA OBA of, HERES, Ce TRS ORAS) OE LI Te 
数 4， 然后 再 加 上 一 个 均 信 为 0, 方 益 为 cz HA UAV E PH LEE Z ,最 后 的 
结果 通过 一 个 设备 (总 减 器 ) 被 乘 以 常数 a. Tej B ngam A X DE EX ) s pa 

证 明 存 在 失真 度 56 MARA, ,使 得 : 

(a) RCS) = CCP) 

(b) E[(U- VY ] = Š 

其 中 屎 (6) 荐 信 源 的 率 失 真 图 数 ,C(48) 是 信道 的 容量 -代价 图 数 。 由 此 证 明 人 不 等 陈 
king C(A/R(O)VE k= n=l Rass. 


注释 


[4] 


注意 那些 存 传 输 数 据 流 中 破坏 性 地 增加 或 删除 符号 的 信道 不 在 我 们 讨论 的 范围 中 ， 
为 了 明确 C(B) 和 RC5) 的 定义 ,必须 假设 信道 和 信 源 是 稳 态 的 , 即 统 计 分 布 不 依赖 
于 我 们 和 何 时 开始 传输 信和 源 的 输出 或 者 何 时 开始 使 用 信道 。 

实际 上 , 为 证 明 不 等 式 king C(B8)/R(5), 不 一 定 要 假设 编码 器 和 译 码 器 是 确定 的 
设备 。 所 需要 的 只 是 编码 器 和 泽 码 器 能 够 保证 (U, 和 ,YY, VY) 形成 一 个 Markov 链 ; 例 
如 ,一 个 编码 器 使 匡 不 仅 依赖 于 了 ,也 依赖 于 一 些 本 地 产生 的 随机 变量 ,这样 的 编码 
器 也 是 可 以 接受 的 ， 

我 们 在 证 明 信 源 -信道 编码 定理 时 所 用 到 的 特殊 结构 (即将 编码 器 和 译 码 器 分 解 为 
信 源 和 信道 编码 器 以 及 信 源 和 信道 译 码 器 ) 需 要 解释 一 下 。 有 理 出 认为 ,独立 地 进 
行 信 源 和 信道 编码 ,最 终 得 到 的 系统 可 能 比 需要 的 更 复 琳 (例如 见习 蜗 5.7 和 过 
题 5.8) ,然而 ,从 (8B,5,7) 的 角度 来 看 , 却 没 有 什么 损失 ,因为 如 果 这 三 个 参数 能 以 
任何 方式 达到 ,就 也 能 通过 一 个 分 解 的 系统 村 到 ， 


L g od wa | EEO, 


加 
Ta = = 


ee -~ ee ee TT Ta = ms 
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本 香 将 对 前 文中 末 做 详细 介绍 的 信息 理论 中 的 一 些 重 要 结论 进行 简单 地 总 结 。 这 里 不 提 
(ETP AM EAA ,但 同感 兴趣 的 诸 者 推荐 了 一 些 参 考 文献 ,通常 是 一 本 教科 书 , 有 时 也 可 能 是 原 
IE 

我 们 主要 讲述 信息 理论 中 两 个 最 重要 的 定理 , 即 香农 信道 编码 定理 (定理 2.4 及 它 的 推 
沦 ) 和 以 源 编 码 定 理 ( 定 理 3.4) 的 深入 研究 。， 下 面 分 两 节 讨论 这 两 个 定理 。 


6.2 ABAE 


作为 参考 我 们 重 述 这 个 定理 ( 见 定 理 2.4 的 推论 )}。 

对 应 每 个 离散 无 记忆 信道 ,存在 一 个 具有 下 述 性 质 的 非 负 数值 C( 称 为 信道 容量 )。 对 于 
H erOP R< C ARK k Ki) n LARPS n, HARP > R EY LS 
2 RF] 625 F), A 4 5 tD ok A eT PS a , 译 码 错误 概率 <, 

现在 此 和 仔 风 研究 一 下 这 个 定理 的 表述 ,并 指出 哪些 假设 可 以 前 戏 ,或 者 有 即 些 线 论 可 以 增 
强 .， 注 意 离散 无 记忆 信道 “一 个 非 旬 的 数值 CU. OBA n (EU RAE PS Pë 
We” peer, FRC THE F ik ee EDP E, 

e 离散 无 记忆 信道 .这 个 定理 也 适用 于 许多 其 他 类 型 的 信道 。 其 中 最 简单 的 例子 是 信道 
的 输入 符号 集 A, WAS Ay 都 等 于 一 个 有 限 的 阿 贝 尔 (abelian) 群 4, 并 且 信 道 的 第 i 个 
输出 了 与 第 i 个 输入 无 之 间 具 有 如 下 关系 ， 

Y; = Aj = Zi 
这 里 Ay 1 fos ' … 取 值 于 群 A, 并 形成 一 个 各 态 历 经 的 随机 过程 信道 容量 可以 定 羡 为 : 


] 
C = sup (z max F(X; Y) (6.1) 


其 中 括号 内 部 的 求 极 大 值 是 对 所 有 取 值 于 A BU n MILER XA, LAR Y = 
(Y ,…, 了 ) 是 与 输 和 人 对 应 的 信道 输出 ,妇科 = 和 + 了 ,其 中 了 =(2…, 忆 ) 代 表 品 声 过 程 的 
前 个 分 量 . ABIES XH a 时 , 括 导 内 的 求 极 值 项 达到 极 大 值 ,并 且 由 于 
(XV) = ACY) -下 (Z) (用 习题 1.13). 


C = logg — inf = H(Z1, Za ++, Z) 


其 中 a 表示 4 PARATI. AUS ih: 


J Th nf]. 
D-E A r 上 i x, 
Fe s 1: aak | | akro o; 


Meh del L asi su 
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al . 1 
inf — H( 21, `a En) = lim n i, ms Zn) = fio 


这 个 值 被 称 为 过 程 Z. Zoo BA. 
现在 可 以 按照 证 明定 理 2,4 的 线 家 ,来 证 明 六 性 各 态 内 经 峻 瑞 信 道 的 编 钨 定理。 惟一 的 
困难 是 ,证 明 对 于 任意 6 >0, 如 果 n BEBK, WE 


| 


趋 近 于 0。 痒 运 的 是 ,根据 McMillan 的 潭 近 均 衡 性 定理 ,对 于 任意 e > 0, WR n AEK, ER 


+ 


趋 近 于 0。 因此 (x;y) = nlogg - H(z,,…,%), 这 止 是 所 需要 的 结论 。 

编码 定理 也 适用 于 许多 有 记忆 的 离散 信道 ;详细 内 容 请 参考 Gallager[ 17j 或 者 Wolfowitz 
[27] 。 

有 关 第 4 章 的 高 斯 信道 可 和 做 如 下 归纳 。 设 dy = Ay = 实数 ,并 设 Y. = X, + Z,, HP Z, 
7,,… 现 在 是 实数 值 随机 过 程 ,并 且 可 能 还 有 一 些 输 入 约束 条 件 。 对 于 这 类 信道 , 当 Z 是 独 
立 的 ( 即 信 道 是 无 记忆 的 ,但 并 非 离散 ) ,或 者 当 Z 形成 一 个 高 斯 过 程 时 ,编码 定理 最 适用 ; 参 
Æ Gallager[ 17] 的 第 了 章 和 第 8 章 。 

A ERTA E ,我 们 讨论 过 的 全 部 信道 都 具有 这 样 的 特点 , 即 单一 的 信息 流 回 同一 个 方向 访 
动 。 但 是 编码 定理 的 一 些 最 令 人 感 兴趣 的 推广 却 是 针对 多 终端 信道 的 。 其 中 最 早 的 结论 由 得 
农 本 人 提出 ,是 关于 有 反馈 信道 的 , 即 对 应 信道 输 人 x, 的 输出 7 MORE ASH. F 
农 ( 交 文献 [25] ,119 ~ 120 页 ) 对 此 得 出 了 惊人 的 结论 :离散 无 记忆 信道 的 加 性 反馈 不 能 疏 变 全 
的 容量 。 它 只 会 使 通信 速率 更 早 地 低 于 容量 ( 见 文献 [251,373 ~ 436 页 的 8 篇 论文 ,也 可 参见 
习题 2.20)。 

具有 反馈 的 信道 仍然 只 是 一 个 单 输 人 ,. 单 输出 信道 。 前 不 久 ,刚刚 得 出 一 些 有 关 允 输出 或 
多 输入 信道 的 令 人 有 瞩目 的 结论 。 例 如 考虑 下 面 所 请 的 多 禄 入 信道 的 例子 。 这 里 有 两 个 发 送 者 
和 一 .个 接收 者 。 人 入道 是 无 记忆 的 ,并 且 单位 时 间 内 允许 每 个 发 送 者 从 扣 , 直 中选 出 一 全 得 呈送 
到 信道 中 。 如 果 将 两 个 输 人 表示 为 x ,x; ,相应 的 输 册 YE 10,1,?| 由 下 表 给 出 : 





] 
T (x; y) — c -| 





] 
¿DSA 


ti ry ¥ 





0 
Ü 
! 
1 


GEP Fea — ee OR ES. RS EA T I FE3 B FS 
的 无 噪声 信道 , 它 的 容量 是 log3。 但 是 如 果 两 个 发 送 者 试图 同时 在 信道 中 传输 独立 的 信息 流 ， 
他 们 将 相互 干扰 。 因 此 一 个 重要 的 问题 是 ;对 于 给 定 的 一 对 速率 (R , RR) HAM REALS | 
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找到 -个 速率 为 R AS, ARS 2 找到 一 个 速率 为 R, 的 但 ,而 接收 者 也 找到 了 一 个 译 仙 规 
由 , 穗 他 能 够 以 尽 可 能 小 的 错误 概率 ,同时 译 出 两 个 消 吕 ? 回答 "是 "的 充分 必要 条 件 是 点 
(R , R,) 位 于 信道 的 容量 区 域 ,本 俩 中 信道 的 容量 区 域 如 图 6.1 所 示 。 


log 2 


4 log 2 


4 log 2 log 2 


R 
图 6.1 一 个 简单 多 接 人 信道 的 容量 区 域 


对 于 更 一 般 的 无 记忆 双 输 和 人 . 单 输出 信道 ,人 情况 本 质 上 是 相同 的 。 在 坐标 系 的 第 一 象限 有 
一 个 同样 被 称 为 容量 区 域 的 起 状 区 域 ,对 应 该 区 域 的 任意 一 对 速率 ,可 以 实现 可 徘 通信 。 类 似 
地 ,广播 信道 具有 一 个 输入 和 多 个 输出 (通常 是 岗 个 }。 可 以 证 明 它 也 存在 容量 区 域 ( 有 关 多 终 
端 信 道 更 详细 的 介绍 ,请 参考 Wyner| 491). 


° 一 个 非 负 的 数值 C.， 即 使 是 计算 第 2 章 中 离散 无 记忆 信道 的 信道 容量 ,也 可 能 非 沉 困 
难 , 除 非 信 道具 有 高 度 的 对 称 性 -回顾 C 的 计算 公式 
C = max HX: Y) 


该 式 是 对 所 有 (一 维 ) 试 验 信 源 X 求 极 大 值 , 即 需要 考虑 信道 输 和 人 符号 集 A, 的 所 有 可 能 概率 
分 布 。 这 个 变 分 问题 虽然 并 不 简单 ,但 在 某 种 程度 上 可 能 比 它 第 一 次 出 现时 要 容易 一 些 , 因 为 
六 下 ;YY) 是 天 的 上 凸 站 函数 ,由 此 可 知 任意 局 部 极 大 值 也 就 是 全 局 极 大 值 。 以 这 个 事实 为 起 
点 ,Gallager[17] 中 有 两 节 是 专门 讨论 DMC 容量 计算 的 。 最 近 ,ArimotoL29] 和 和 Blahut[32] 给 出 了 
计算 C 的 次 效 数值 程序 . 

如 果 信 道 不 是 离散 无 记忆 的 ,计算 容量 通常 更 加 困难 ,因为 一 般 情况 下 ,定义 (5.2) 式 甚至 
是 无 效 的 。 对 于 加 性 各 态 历 经 噪声 信道 ,如 我 们 所 看 到 的 ,计算 CSET RBA. g 
REEE Markov 过 程 , 可 以 很 容易 计算 出 它 的 彤 (见习 题 1.20) ,但 是 一 般 而 言 ,我们 对 躁 声 了 
解 得 并 不 儿 。 至 于 计算 多 终端 信道 的 容量 区 域 问题 ,本 书 实质 上 并 赤 涉 及 。 


° 足够 大 的 n 值 。 对 于 离散 无 记忆 信道 , 译 码 错误 概率 e HOR R, 以 及 码 的 最 小 码 长 n 
之 间 的 关系 问题 ,一 直 以 来 都 是 需要 涂 人 人 钱 究 的 诛 题 ， 
简单 地 说 ,对 于 任意 0< R< C, 码 长 为 n .速率 为 R 的 最 佳 码 的 译 码 错误 概率 近似 为 : 


Pe we 277E 


其 中 信道 的 可 靠 指 数 ER E R 的 下 四 吕 函 数 ,其 曲线 类 似 于 图 6.2。 如 果 要 更 精确 地 表示 ， 
就 用 P, (RR,n) 表 示 码 长 为 n ER> R 的 最 佳 码 的 译 码 错误 概率 ,并 定义 : 


l 
Er) = lm log Pe(R, n) 


[事实 上 ,没有 人 证 明 过 这 个 极限 存在 ,但 是 在 下 面 的 讨论 中 ,我 们 将 忽略 这 个 技术 问题 ,人 认为 
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ECO ERS LE ELR) =limsup- n 'logP (KR, AY F PL. RAHA 318 — 48 DMC 的 
ECR BH Zo ,但 E(R) 存 在 极 好 的 上 界 和 下 界 ,通常 如 图 6.3 所 示 。 因 此 存在 一 个 “临界 速 
"RAKE ECR AAP RRS (4 0< R< R LCA ZAGER. 例如 ， 
35 — TIR TE RA p = 0.01 BJ BSC, Eq 6.4 中 画 出 了 已 知 的 最 佳 E( R) ECA F RR. GE 
意图 6.4 HTA THARA. COM R, 编码 定理 ,见习 题 2.21 至 习题 2.26.) 





图 6.3 ECR RFE 





EIRY basez) 
心 





图 6.4 BSC(p=0.01)89 ECR) GRRE AIL 
fJ BH 28 ( # A McEliece #1 Omura [ 40 J } 


e 存在 一 个 码 …… 诺 码 算法 。 信 道 编 码 定理 最 不 能 令 人 满意 的 地 方 , 是 它 的 不 可 构造 性 。 
SE CES (RRA ASR BRAMAN AE. ERM 
程度 上 ,可 以 将 我 们 称 之 为 “编码 理论 "( 本 书 第 二 部 分 的 主要 内 容 ) 的 学 科 , 看 做 是 在 寻找 一 种 
可 设计 和 可 应 用 的 信道 编码 定理 。 但 是 目前 已 知 的 任何 具体 编码 方式 ,都 不 能 以 非常 接近 信 
道 容 量 的 速率 达到 极 小 的 错误 概率 。 换 言 之 ,编码 理论 学 家 一 直 以 来 都 是 以 牺牲 编 码 定理 的 
“FE R< C, P 一 0" 的 结论 来 实现 设计 的 。 面 对 于 信息 理论 学 家 来 说 ,这 一 结论 是 神圣 
的 ,并 为 维护 这 一 结论 做 了 许多 努力 ,同时 也 强化 了 结论 中 “存在 一 个 码 和 相应 的 详 友 算法 "部 
分 ,, 下面 将 介绍 一 些 这 方面 的 成 就 。 
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首先 ,我 们 可 以 将 注意 力 集中 于 相对 较 小 的 一 类 码 , 并 证 明 编 码 定 理 成 立 。 例 如 ,从 编码 
定理 的 角度 米 看 ,线性 码 { 见 第 7 任 ) 类 中 的 某 些 码 的 性 能 非常 好 (例如 ,可 参见 Gallager[ 171, 
6.299). 因为 很 容易 实现 线性 全 的 编 何 ,这 表明 性 能 好 的 码 , 其 编码 算法 并 不 一 定 非 常 复杂 。 
另外 已 经 证 明 编 码 定理 同样 适用 于 时 变 卷 积 硒 ; 见 Masseyi21], 第 6 节 和 第 7 节 。 但 是 目前 对 
这 两 类 码 都 汕 有 实用 的 境 码 算法 . 

我 们 所 说 的 “实用 RSE BIT ee? 这 里 采用 一 种 广 法 被 计算 机 科学 家 接受 的 观点 
(例如 ,可 参见 Aho, Hoperofi 和 Ullnanl 1 j ,第 10 章 ), 假 县 未 种 算法 有 二 个 烩 和 人 ,其 运行 时 间 和 和 
存储 需求 都 可 以 用 nm 的 某 个 多 项 式 表 未 ,那么 它 就 是 "实用 ”的 。 如 果 我 们 接受 这 种 观点 ,由 
Forney ( R CAR[ 25] ,90~95 页 ) 纵 出 的 下 述 结论 ,无 疑 是 一 个 “实用 "的 编码 定理 ; 


对 于 任意 R< CL BA RIJ C, C. SEC, HARA) FABRE 8 > R, 3 
满足 ， 
(a) Pp, <2 S (RE Pj, 是 第 nn 个 码 的 错误 概率 ,而 Eel R) R 5 32 48 F E AR, J 
且 对 于 所 有 的 R< C, = 69 48 31k K T 0). 
(b) C, 的 编码 和 译 码 复杂 度 为 Dr ja 
Fomey 证 明 中 的 核心 思想 是 经 联 ,即将 信道 编码 器 和 信道 译 码 器 以 茶 种 方式 进行 分 解 。 
考 虚 -- 个 给 定 信 道 的 普通 纲 码 器 和 泽 码 兹 : 


U 编码 器 [* X fait x HEIA v 


这 里 人 = 一, 和) 是 对 如 = (如 ,bi) 的 一 个 估计 , 它 一 般 等 于 ,当然 并 不 忆 古 如 此 。 
换 一 种 说 法 ,VY 是 习 的 一 个 噪声 样本 ,因此 可 以 将 上 图 中 的 “编码 句 - 信道 - 译 码 器 看 做 一 
种 “超级 信道 "或 者 外 部 信道 。 我 们 为 这 个 从 部 信道 设计 -- 种 码 , 并 得 到 如 图 6.5 所 泵 的 方 杠 
图 、 通 过 随机 地 选择 内 和 码 ,而 选择 一 种 特定 的 外 藻 ( 一 种 Reed-Solomon 码 ; 见 第 9 SL) ,Fomey HE 
HI FRR Saye hE aa E ES 


| 并 部 | | 内 部 内 部 外 部 
na j ta e a 


图 6.5 一 个 级 联 的 编码 系统 


Forney 的 结论 极 大 弛 缩小 了 信息 理论 (证明 应 该 能 够 达到 ) 和 编码 理论 (证 明 实 际 可 以 实 
现 ) 之 间 的 差距 。 但 是 Fomey 的 定理 只 说 明了 “实用 性 ” ,仍然 没有 解决 “设计 "问题 ,因为 七 并 
没有 告诉 我 们 如 何 去 寻 找 相应 的 肉 码 。 所 以 对 于 给 定 的 R< C, 如 何 寻 找 一 系列 可 构造 、 可 实 
现 的 码 , 满 足 Ps 按 指数 趋 近 于 0 的 问题 ,仍然 有 待 于 进一步 研究 。 如 果 有 人 能 够 提出 这 样 一 
个 定理 ,就 可 以 将 信息 理论 和 编码 理论 的 研究 课题 结合 起 来 (甚至 可 能 将 两 痢 淘汰 出 局 ): 

e 编码 定理 的 道 定理 。 习 惯 上 将 编码 定理 的 道 定理 分 类 为 " 弱 北 定理 "和 "* 强 逆 定 理 ,但 
是 这 种 命名 方式 可 能 会 产生 误导 ,因为 强 逆 定理 并 不 包含 弱 逆 定理 。 

我 们 在 前 面 已 经 见 过 弱 北 定理 。 它 说 明 如 果 试 图 将 一 个 二 进 制 对 称 信 源 的 输出 ,以 超过 
信道 容量 的 速率 在 信道 中 传输 ,最 终 的 误 比 特 率 不 会 趋 近 于 0。 而 信 源 - 信 章 编码 定理 5.1 r 


r - - 
-er —— eee ge ee ee —-- a 


加 ` 
- = ' . ` ` - = 
- LI 
Bou ! rm sar- eee Ó AE" rh mk. ee eee ra 
w r. =. 
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诉 我 们 ,如 果 采 用 图 5.1 所 示 的 通信 系统 模型 , 则 必须 满足 不 等 式 Kin < CiR(6)[ 假 设 信 道 没 
有 输入 代价 约束 ,而 二 进 制 对 称 信 源 的 只 (8)=1- 严 (人 8) 比特 ]。 比 率 kin 是 传输 速率 的 度 
ASA OE kin CEC WJ RCS) <1 AEREE ó RSF 0。 这 个 结论 的 证 明 只 依赖 手 
信道 容量 的 互信 息 量 形 式 的 定义 [ 见 式 (6.1) |], 因 而 也 适用 于 一 般 的 信道 ; 

强 谱 定理 更 适合 于 和 作为 前 而 所 述 的 编码 定理 的 道 定理 ,该 编码 定理 说 明 , 对 于 R< CL 
长 为 n ,速率 为 RR 的 最 侍 码 ,其 错误 概率 随 着 n> %m 而 趋 近 于 0。 而 强 首 定理 说 明 , 如 果 上 R> 
( ,最 佳 码 的 错误 概 滨 随 看 no MET lo (CA Viterbi 和 Omuraf26], 第 3 章 ,}) 自 前 强 道 定 
理 的 最 强 形式 表明 , P. 指数 地 趋 近 于 1, BP 


Pree 2 "A R> C 


其 中 E.R) Arimoto 错误 指数 , 它 的 一 般 曲 线 如 图 6.6 所 示 。 
对 于 原始 错误 概率 p =0.1 的 BSC 这 种 特殊 情况 ,图 6.7 中 给 出 也 (RR) 的 精确 曲线 。 





5 


0 4 






0.3 


ER) 04 


Ü | 


图 6.7 p=0.1 Ay BSC BY F, (R) 


6.3 信 源 编码 定理 


这 一 节 将 采用 与 6.2 节 基本 相同 的 结构 。 不 过 首先 应 该 提醒 读者 ,尽管 我 们 强调 了 依 违 
编码 与 信 源 编码 之 闻 的 高 度 相 似 性 (或 者 对 偶 性 ) ,但 广义 上 来 讲 , 对 信 源 编码 或 率 失 真 鹃 数理 
论 的 研究 更 为 困难 ,因此 目前 该 方向 的 研究 相对 落后 。 

作为 参考 ,我 们 现在 重 述 信 源 编码 定 埋 3.4。 


a, : . v 人 
ote .. E Be | i 1 





加 - 
DID 


a 
Soe ee eer em —a—— a ee r ra. 
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对 应 任意 离散 无 记忆 信和 源 和 单个 社 号 失真 测度 ,存在 一 个 定义 域 为 BB 的 非 负 .下 中 
(PR a BE RCS), JL FRA, 对 于 任意 £ > Q o Ô Ons WR AE kti k 4h, th — A AHR 
A k py 45 RR ES dgl AS HPI RG < Pte, 

下 而 我 们 将 研究 该 定理 的 表述 TE BS ocd faim” .“— Poe R(5)”"“ 对 于 足够 大 
HI kE UA RE Ta SS "ITE. FPS ie T An Se PER): 36 E FB. 

e 痪 散 无 记忆 信和 源 。 对 信 源 编码 定理 而 言 , 基 最 自然 的 扩展 方式 必 证 明 除 了 离散 无 记忆 
言 源 以 外, 它 还 适用 十 更 广泛 类 型 的 信 源 。 按 照 这 种 思路 ,已 经 证 明了 该 定理 适用 于 大 量 的 信 
GB. 事实 上 ,大 们 已 经 研究 过 任何 一 种 可 以 被 模拟 为 平稳 随机 过 程 …x ,xwo ka BJ E 
小 。 但 让 憾 的 呈 , 只 能 计算 出 :小 部 分 信 源 模型 的 有 效率 失真 国 数 尼 (G)( 见 Berger| 131). 


在 6.2 节 中 已 经 看 到 ,目前 我 们 对 于 某 些 多 终端 信道 的 容量 区 域 已 经 了 解 了 很 移 。 而 对 
于 多 用 户 的 依 源 编码 却 知之 甚 少 ,但 是 有 一 个 结论 值得 一 提 , 这 就 是 有 无 杠 无 信 狐 无 噪声 编码 
的 Slepian-Wolf 定理 。 为 介绍 Slepian-Wolf 定理 ,必须 先 介绍 一 下 信 源 编码 定理 的 一 个 重要 应 
用 (顺便 提 一 句 , 这 也 是 第 11! 章 的 全 部 内 容 )。 

Ë 1 ,下 ,是 由 取 值 于 集合 4 的 独立 . 同 分 布 随机 变量 组 成 的 序 别 。 将 这 个 序列 看 做 
一 个 对 应 没 明 失真 图 数 的 信息 源 , 基 信条 符号 集 世 是 4 ,并 定义 :加 果 x= y MU d(x, y) = 158i 
果 *=y, 则 dtx,y)=0。 正如 我 们 在 前 面 所 看 到 的 ,此 时 ROOMS Ti CY). A 
此 对 于 这 种 特殊 情况 , 信 海 编码 定理 的 含义 是 ,对 于 任意 s>0 和 员 > 开 ( 王 )， 以 及 足够 大 的 专 
值 ,存在 一 个 码 长 为 上 的 信 源 编码 , 它 至 多 包括 2 个 码 字 ,并 旦 平均 误 益 <e。 搞 一 种 说 法 就 
是 ,无 失真 地 表示 信 源 的 每 个 采样 点 ,实质 上 只 需要 H(X) 比 特 。 这 当然 是 信 源 编码 定理 的 一 
个 简单 结论 ,而 在 第 11 章 中 我 们 将 具体 介绍 所 谓 的 无 喉 声 编码 技术 。 

现在 来 介绍 Slepian 和 Wolf 的 结论 。 设 (天 ,下 ),i=1,2,3,… 是 由 独立 , 同 分 布 的 离散 随 
机 变量 对 组 成 的 序列 ,它们 具有 相同 的 分 布 函 数 plax, y), AAR HCX), H(X, 了) 和 
H(XIY) 等 ,问题 是 如 何 寻 找 X 和 了 序列 的 独立 信 源 编码 ,使 最 终 的 失真 可 以 忽略 不 计 。 这 里 
以 图 6.8 所 示 的 系统 为 例 ， EX TAS (X), ETLE M. 中 的 任何 一 个 值 。 同 样 
(RI gl 总 是 M, 中 的 任何 一 个 值 。 定 必 达 率 为 : 


l 
Ry = ~ log My 
kE : 
和 
| 
Ry = P log My 
IHR EE: 


Pr = PIX Z X or Y Z Y) 
当日 仅 当 对 于 任意 >0, 存 在 如 图 6.8 所 未 的 一 个 系统 ,满足 P, <e, TERIER R, Ry) 
是 容许 的 。slepian 和 Wolf( 参 见 文献 [251,450 ~ 457 页 ) 证 明了 容许 速率 的 集合 如 图 6.9 所 示 。 
Slepian-Wolf 定理 的 意义 也 许 并 不 显著 。 但 是 如 果 将 图 6.8 中 的 编码 器 合并 为 一 个 , 尺 简 
化 为 研究 具有 炉 (X,Y 了) 的 独立 随机 矢量 序列 的 无 失真 编码 问题 ,因此 容许 区 域 是 以 直线 


E rm Wee | 
Lt a? ee She E a ! 
=e pE ie > CE : 站; 
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R + R = 下 (下 ,中 ) 为 边界 的 半 平 面 。 如 果 再 考虑 将 编码 器 分 开 , 容许 区 域 的 面积 并 不 会 增 
加 ,因此 S.-W, 容许 区 域 应 该 全 部 位 于 这 条 直线 上 方 。 另 外 ,如 果 假 设 译 码 器 已 知 了, 则 有 关 
的 不 确定 量变 为 晴 (1Y), 因 此 容许 区 域内 的 每 一 点 都 需 满足 R. HIY), BU 
Ry 宕 H(YIX), 可 见 容许 区 域 必然 是 图 6.9 所 示 区 域 的 … 个 子 集 。 一 个 重要 的 结论 是 它 就 是 
最 大 子 集 。 


译 码 器 
0 (h PY 


图 6.8 S'.lepian- Wolf 定理 的 方 框图 


Yi 


E 
on ENS 


a Yj 
a M 


RA] Y) a } HX. F) 


图 6.9 容许 速率 的 集合 


最 近 , Wyner 和 Ziv[50] 人 研究 了 当 速 率 Ry Al Ry 位 十 图 6.9 中 标明 的 "和 W.-Z. 区 域 " 内 时 ， 
图 6.8 所 示 系 统 的 最 佳 性 能 。 存 W-Z. I 区 域内 ,由 于 R e HiX), X AURAR. E 
此 时 Ry < H{Y1) ,在 接收 了 时 不 可 避免 地 将 产生 失真 。Wyner 和 Ziv 确定 了 可 能 的 最 小 失 
RE. 

Slepian- Wolf 和 Wyner-Ziv Ate tian S 率 和 失真 理论 在 多 用 户 领 域 的 深入 发 展 。 

e 一 个 函数 R[6). 我 们 已 经 在 第 3 章 中 看 到 ,除非 上 共有 大 量 的 对 称 性 ,否则 即使 是 计算 
离散 无 记忆 信 源 的 率 失 真 函数 R(6) 也 相当 困难 。 但 是 Blahut[32]( 也 见 Viterbi 和 Omural 26], 
附录 7A) 发 现 了 一 种 计算 R63) 数值 的 快速 收 合算 法 ,因此 目前 普遍 认为 计算 此 类 六 源 R(6) 
的 问题 已 经 解决 。 

不 过 对 于 齐 一 般 的 信 源 和 失真 测度 ,计算 ROHS AA. WECM R(5) 简 单 公 
式 的 最 著 各 的 一 类 信 源 ,可 能 就 是 对 应 均 方 误差 测度 的 离 汕 时 间 稳 态 高 斯 信 源 。 混 类 依 源 的 
HP ALB XX, XL, ARE PRR, PKA RH R(5) 是 通过 参 
变量 的 形式 给 出 的 : 
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d(8) = zl min, S(a)) dw 





R(0) = a| max (o. log | do 
其 中 S(w) 旦 过 程 的 谱 密度 ,而 0 取 值 于 区 间 [0,ess. sup S(w)]。 如 果 X, 是 具有 相同 方差 
的 独立 随机 变量 , 则 对 于 所 有 的 w, 有 S(o)= o, ATERN) = 8, R(9) = 5 logo 8. 


0=0=ə BEEM 4.4, Berger[ 13] 的 第 4 章 中 给 出 了 相应 的 证 明和 几 个 例题 ， 

这 里 并 不 知道 大 多 数 有 记忆 信 源 的 有 将 RR(5) 公 式 。[ 实 质 上 由 式 ($.4) 总 能 给 出 一 个 公 
式 , 但 并 不 -…… 定 有 效 ,] 例 如 ,我 们 显然 还 不 知道 哪些 有 记忆 离散 信 源 的 R(5) 可 以 精确 求解 。 
但 是 有 很 多 方法 可 以 定 出 R(8) 的 界 , 这 里 再 一 次 向 有 兴趣 的 读者 推荐 Bergerl 13]. 

e 对 于 足够 大 的 无 值 。 在 6.2 节 中 已 经 看 到 ,DMC 的 信道 错误 概率 可 以 随 着 分 组 长 度 的 
增加 而 指数 地 趋 近 于 0、 对 于 信 源 编码 定理 而 言 ,类 似 的 问题 是 ; 码 长 为 天 .速率 关 员 人 人) 的 最 
佳 信 源 编码 , 它 的 失真 度 是 如 何 赵 近 于 他 的 ? 在 这 方面 Pile[43]( 也 见 Gallager[ 17],9.3 节 ) 证 
明了 对 于 DMS, 如 果 用 4d,( 上 ) 表 示 一 个 码 长 为 .速率 宕 R(8) 的 信 源 编码 的 最 小 平均 失真 ， 
MH), 





dmin(k) = ó + 0 ç 3 


可 见 d (上) 趋 近 于 6 的 速度 远 低 于 Ps 趋 近 于 0 的 速度 。 


e 存在 一 个 信 源 编码 ， 信 源 织 码 定理 面 痢 着 与 信道 编码 定理 相同 的 问题 ,就 是 它 的 非 构 
造 性 ， 人 和 们 为 了 寻找 一 类 满足 信 源 编码 定理 并 且 易 于 应 用 的 信 源 编码 ,已 经 做 了 大 量 的 研究 
工作 ,得 出 了 如 下 形式 的 信和 源 编 码 定理 ;“ 对 于 任意 。 >0 和 56> 6. ,存在 7 了 类 信 源 编码 ,满足 
we R(5)+ ,并 且 平 均 失 真 <6+e。” 并 证 明 当 了 类 码 是 线性 码 的 集合 ( 见 第 7 章 ) 或 树 状 
码 的 集合 ( 见 第 10 章 } 时 ,该 定理 成 立 。 细 节 请 参考 Berger[ 13] 第 6 HH Viterbi 和 Omural 26] 
第 7 章 , 本 书 第 12 章 还 将 进一步 介绍 某 些 特定 线性 和 树 状 信 源 编码 的 性 能 。 

e 逆 定 理 。 事 实 上 信 源 编码 定理 只 有 一 类 逆 定 理 , 我 们 已 经 见 过 它 的 变换 形式 。 前 面 并 
没有 详细 叙述 该 定理 ,因为 当时 我 们 更 关心 的 是 ,研究 信 源 输出 在 给 定 信道 中 传输 时 , fi UR Sa 
码 定 理 的 应 用 情况 。 下 面 将 要 完整 叙述 的 结论 ,实质 上 是 信 源 -信道 编码 定理 5.1 结论 (a) 的 
一 种 特殊 形式 ,此 时 信道 是 无 噪声 的 。 信 源 编 码 定理 的 道 定理 表 述 如 下 : 


do RASH RAMP kA < 6, CHRP CRs RO). 


为 了 证 明 这 个 定理 , 设 给 定 码 的 码 长 为 天 ,并 定义 它 为 1m v... v |o 考虑 图 6.10 中 的 
方 框图 .其 中 信 源 编码 器 将 每 个 信 源 序列 上 = (a) 映射 为 一 个 码 字 v  d(u,v,)/S 
可 能 地 小 。 现 在 由 于 和 码 的 平均 失真 度 < 86, 我 们 有 EF[d(U; VY)] << 雁 , 因 此 [ 见 式 (3.3) 和 
(5,10) ]/(U;V) = R (8)>kR(8), 但 同时 CU; V) < HCV) <logM, i, 


L log M = R(d) 


H F(1/k)logM 被 定义 为 码 的 速率 ,这 就 完成 了 该 定理 的 证 明 。 
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注意 这 个 定理 的 证 明 只 利用 了 RC ORCA) R(t5) 的 下 确 界 这 个 基本 定义 ,以 及 互信 息 
量 和 燃 的 一 些 基 本 性 奈 。 基 此 信 源 编码 定理 的 道 定 理 本 质 上 庆 用 于 任何 信 源 和 失真 测度 。 一 
个 重要 的 事实 是 ,我 们 也 可 以 证 明 信 涯 编码 定理 通用 于 非常 普遍 的 情况 。 


UA 一 一 | (ae (Th y 


图 6.10 仿 源 编码 定理 逆 定 理 的 证 明 
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7.1 引言 :生成 和 一 致 校 验 矩 阵 


我 们 已 经 注意 到 ,从 实际 应 用 的 角度 来 看 ,信道 编码 定理 2.4 是 不 能 令 人 满意 的 。 因 为 该 
定理 证 明 存 在 的 码 至 少 有 三 个 明显 的 缺陷 … : 
(a) 很 难 找到 它们 。 (虽然 从 定理 2.4 的 证 明 中 可 以 看 出 ,如 果 码 长 足够 长 , “随机 ”选择 
码 的 性 能 可 能 较 好 。) 
(b) 很 难 分 煌 它们 。( 给 定 一 个 码 , 怎 样 了 解 它 的 性 能 呢 ? 最初 就 是 因为 元 法 计算 一 个 特 
定 码 的 错误 概率 , 才 采 用 了 竹 机 编码 的 技巧 1) 
(e) 很 难 实 现 它们 。( 特 别 是 很 难 实现 译 码 :定理 2.4 建议 的 译 码 方法 一 一 例如 寻找 码 字 
的 S(tF) 区 域 等 一 一 复 淋 得 令 人 户 向 生 展 , 际 非 码 很 小 ,) 
实际 上 ,到 自前 为 止 我 们 过 到 的 惟一 一 种 没有 这 些 缺 陷 的 编码 方案 ,就 是 引言 中 介绍 的 
(7,4) 汉 明码 。 本 章 指出 汉 明 码 是 很 大 -- 类 码 中 的 一 种 ,这 类 码 被 称 为 线性 码 ”, 在 第 7 章 至 
第 9 章 我 们 将 看 到 , 某 些 性 能 非常 好 的 线性 码 并 没有 前 文 提 到 的 三 个 缺陷 。 
现在 试图 寻找 这 样 的 类 码 , 从 编码 定理 的 意义 上 来 讲 性 能 要 好 ,同时 又 要 比较 容易 实 
现 , 因 此 这 就 要 求 这 类 码 具 有 某 种 结构 。 为 此 我 们 的 第 一 步 是 使 信道 输 人 符号 集 A RAE 
种 结构 ;从 现在 开始 ,假设 A, = 包含 q 个 元 素 的 一 个 有 限 域 忆 ”。( 附 录 C 介绍 了 有 限 域 的 基 
ARCS...) TEX MB eb Fe TEE BE LOR POA n ABF x= (x, l, x, A 
fe F, 上 的 一 个 m RE. 
定义 由。 中 上 的 一 个 (大 线性 码 ,是 产 维 秋 量 空间 VF) = Ca) a E FÉ 
一 个 上 维 子 空间 ;ma 称 为 码 的 长 度 , 上 称 为 维 数 。 码 的 速率 是 比值 /no 
线性 怡 对 比 非 线 性 码 的 -个 主要 优点 是 ,它们 更 容易 定 六。 一 个 (n ,让 线性 码 C 可 以 完 
全 由 任意 一 组 大 个 线性 无 关 的 三 字 xxw. x, 来 描述 ,因为 C 中 的 每 个 码 字 都 是 4 个 线性 
Aa > ax (aie FF) 中 的 一 个 。 如 果 将 这 一 组 码 字 排 列 成 一 个 x n 维 的 矩阵 6, 则 Ç 称 
AC 的 生成 矩阵 .更 普遍 的 是 : 
EX ACF, 上 的 一 个 (ny 拉线 性 码 。 一 个 行 空间 等 于 民 的 天 X 阶 短 阵 和 称 为 人 
ARM. AR wR G 是 元 素 取 自 五 MOAR ME OTE MAAR CAR 
的 码 。 
通过 指定 一 个 生成 矩阵 ,就 完整 地 描述 了 某 些 有 意 疼 的 码 。 本 草 中 将 反复 焊 用 下 面 的 三 
个 例子 (它们 都 取 q =2; 肥 是 二 进 制 码 ) 来 说 明 问 题 。 
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例 7 了 .1 一 个 (5,]1) 线 性 码 C ,具有 生成 矩阵 ， 
G =[i ll 11] 


$17.2 一 个 (5,3) 线 性 码 CL, EAE RE: 


l | 
(x= |0 0 1 
l 1 





@J7.3 —4*(7,4)2X k C,, BAER; 


1 0 O 
0 1 0 
G= o o ı 
Ü 


Ü 
0 
Ü 
Ü Ü l 


Ü 
l 
l 
l 


— = — — 
— FC — — 


C Aa A NIAE 00000 和 11111; 它 就 是 引言 中 讨论 的 速率 为 15 HER. C, 是 引言 中 
的 (7,4) 汉 明码 。C; 是 一 种 新 的 码 型 。j 
线性 码 的 男 一 个 优点 是 编码 易于 实现 。 一 个 (n,) 线 性 码 有 入 个 码 字 , 因 此 可 以 用 于 传输 q 
种 不 同 信 息 中 的 任意 一 种 。 如 果 假 设 这 些 信息 是 (表示 为 )qg 个 天 维和 = (u ay MEW), 
J.E. C 中 各 行 是 线性 无 关 的 , 则 将 信息 a BABE x 的 一 个 非常 简单 的 编码 规则 是 ，; 
u—uG (7.1) 
在 式 (7.1) uG 表示 1 x k HKG u Ej k x n Wee 的 乘积 。 例 如 ,利用 C, HARE 
G. ,映射 (7.1) 式 变 为 ， 
(u), 12, fs) O> Cty + Ha, Hi + Hs, Mi + ub + oy, Wz + ug, H3) 
利用 下 面 的 性 质 ,通常 可 以 进一步 简化 映射 (7.1) 式 , 即 如 果 G # C ARS, MER 
与 6 行 等 价 的 矩阵 也 是 习 的 生成 什 阵 ,我们 知道 任意 矩阵 都 行 等 价 于 一 个 行 递减 阶梯 
(RHE) 利 阵 ,因此 任意 线性 码 都 具有 惟一 的 一 个 RRE 生成 矩阵 。 为 了 “刷新 “读者 的 记忆 ,下 
面 给 出 域 F 上 RRE BERS = EIR ， 
(a) RTT RA VIINIES RE l 
(b) AP OAR - PAE 1 元 素 的 列 中 的 其 他 元 素 都 为 0。 
(e) 如 果 第 i 行 的 最 左 非 零 元 素 出 现在 第 1; P E A ty < ty < t,o 
可 凡生 成 矩阵 G, 和 6; 已 经 是 RRE 形式 了 ,而 G, 则 不 是 。 实 际 上 C, 的 惟一 RRE 生成 
矩阵 为 : 


D1 0 0 1 
ao Oe 1] 
00 0 (1 


为 了 清楚 起 见 ,我 们 用 圆圈 标明 了 每 行 的 最 左 1 元 素 。 用 G 代替 C, C, 的 编码 [利用 
式 (7.1) JEN: 

. (t, H2, 3) — (up, ut, (Ua), (U3), ey + u + ty) 
c, 的 编码 具有 我 们 希望 的 特点 ,就 是 信息 符号 u, u, u 独立 地 出 现在 码 字 中 ;一 般 来 讲 ,如 


ape 





= x ee T m > wa. eo oe ee. w ee w 
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果 G6 中 第 i 行 的 最 左 元 素 出 现 佬 第 1 列 , 则 符号 ú 将 作为 得 字 X= ac 中 的 第 1; 个 元 素 出 现 。 
无 论 是 线性 码 还 是 非 线 性 友 , 如 果 具 有 这 样 的 性 质 , 即 和 本 在 一 个 编码 规则 ,使 信息 符号 独立 地 
出 现在 码 字 中 ,就 称 它 是 杀 统 的 。 因 此 也 就 证 明了 所 有 线性 码 都 是 系统 的 。 
注意 C, 和 C, 的 RRE 生成 矩阵 具有 人 = [下 4] 形 式 , 其 中 五 是 下 xx 下 阶 单位 矩阵 。 显 然 

并 不 是 每 个 线性 码 都 具有 这 - :性 质 [ 例 如 如) 但 如 果 这 个 袜 用 于 无 记忆 傅 道 , 则 对 G 进行 列 
置换 并 不 会 改变 码 的 性 能 ,因此 在 这 种 情况 下 总 可 以 假设 G = [84]。 例 如 ,通过 将 G; 的 列 
按照 (13245) 的 顺序 重新 排序 ,我 们 得 到 

I 0 0 1 | 

0100 1 

00 1 


Q | 


在 任意 无 记忆 信道 上 , 它 所 生成 的 码 的 性 能 与 5; 是 相间 的 。 

以 上 介绍 的 是 生成 矩阵 。 另 外 对 应 每 个 线性 三 ,都 存在 一 个 电 许 更 有 价值 的 炸 阵 ,我 们 称 
TA- HRR, AEST AE 

如 果 CEF, 上 的 一 个 (n,#) 线 性 码 , 则 C 的 一 致 掖 验 * 是 一 个 具有 下 面 形式 的 等 式 : 

ax + a +++ + ayx, = Ü (7.2) 

它 对 所 有 的 x= (Cx, ,x ,x JE CERS WER XEC, 使 式 47.2) 成 立 的 所 有 矢量 a= 
(a ,…, 0, BURA, ASHE VF TEE. BIC C (C 的 “ 正 交 ”), 并 称 之 为 C 
的 对 慢 码 ,根据 线性 代数 中 的 有 关 结 论 , C 的 维 数 是 m- dim(C), 即 C 是 FF 上 的 一 个 (n， 
n 阳线 性 码 。 现 在 定义 的 一 个 一 致 校 验 矩阵 为 0” 的 一 个 生成 窍 阵 。 更 直接 地 : 

定义 ECF, EAn, k ARE, wR AAAH xG CHEM H Rk Hx’ =0, 

UJARE rE H 为 码 C 0 — s t a kU), 

根据 前 面 的 讨论 ,显然 每 个 (n ,如 码 都 存在 惟一 的 (n — k) x n BY RRE — S FEBS AE FEE. (B 
是 更 常见 的 是 ,采用 一 种 略 有 不 同 的 规范 形式 来 表示 站。 例如 ,如 果 6 = [4j, 则 可 以 将 H 
ivg 





H = [— 4! Iya] (7.3) 
如 果 CHARMER IT ASB G 变换 为 | 714] 形式 ,然后 青 对 [ -A h- ET 


逆 置 换 而 得 到 H, 
例如 ,通过 这 种 方法 ,由 G.G, M G. 生成 的 一 致 校 验 矩阵 是 ，; 


11000 
10100 _f1 100 0 
N=!) 901 0 m=] o ta 
0001 
0111100 
Hy=|1 01101 0 
1101001 


注意 当 H RAREN, C 中 码 字 的 定义 式 Hx” = 0 给 出 了 信息 符号 和 元 余 或 一 致 校 验 符 
E Z l) BYR a PRE Ro 例如 ,在 C, 中 „Ñi ERASI S, mM Ho = Bp = Xg = X; = Fjo 2811 Ht ,在 
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C; HP, r ta s ba 是 信息 符号 ,而 和 最 后 ,在 C, 中 ,一 狼 校 验 比 特 Xss 
Mey Hy 与 信息 比特 Mir Xas A Vy 之 间 的 关系 为 As = X, + X; T+ Xi, XK = BH) + X, + X , X> = 
x, + xy +x4[ 见 式 (0.6)]。 当 然 信 息 符号 的 位 置 不 是 惟一 的 ,见习 题 7.13: 

现在 利用 下 面 的 定理 总 结 一 下 本 区 的 主要 由 容 。 


定理 7,1 + C # F, Mtn, RES MAAR HH k x n BP RRE RE Ç, 
满足 xC C, YHRE x 在 EC 的 行 空 闻 内 。 嘱 外 ,存在 一 个 (ma - k) x n EEA x€ 
CBSE Hx =0. PRS CAAT- A Au e is iB MW) R K —A k. TARRA — 
£F kxn kj) Bee AMA: 

G= [IA], H=[-A In] 


在 这 种 情况 下 ,矢量 UE V,(F.)05 92 h oe (uA e H. 


7.2 9 进 制 对 称 信 道上 的 伴随 式 译 码 


到 自前 为 止 ,我 们 对 于 线性 码 的 讨论 还 没有 涉及 信道 输出 符号 集 A, 或 者 信道 特性 。 但 是 从 
现在 开始 ,可 以 假定 Ay = F,, 即 输入 和 输出 符号 集 是 相同 的 。( 参 见习 题 7.11 和 习题 7.20.) 
因此 如 果 传 输 的 是 = (zx,…,%) E VO MERRE y= (yi ,…,Y,) 也 将 属于 VER) 
者 的 差 值 z=y - 称 为 错误 图 案 。 如 果 > 0, 我 们 就 称 在 第 i 个 位 置 上 出 现 了 一 个 错误 。 

在 这 种 情况 下 ,7.1 节 引 和 人 的 一 致 校 验 矩阵 豆 被 证 明 是 译 码 的 一 个 有 效 工 具 。 假 设 传输 
的 是 x, 因 为 是 一 个 玛 字 ,满足 Hx = 0。 如 果 信 道 引起 了 一 些 错误 , 即 如 果 z 关 0, 则 很 可 能 
Hy’ <0, KE s= Hy 称 为 y HMA”, PERRERA IEE, E RIET RRA 3 z 
而 不 依 束 于 所 传输 的 码 字 ,因为 Hx” =0, 即 : 

s= Hy’ 
= H(x + m)! 
= Hx! + Hz! 
= Hz! 
当然 接收 方 对 z FERRE h AS AE x, (ROA y, M x= y- z, AESA 
以 专注 于 寻找 2。 

伴随 式 提供 了 z 的 一 些 信息 ,但 是 并 不 充分 。 这 是 因为 对 一 个 固定 的 s€ V, ( F,), Jr E 
Hz” =s 的 解 的 集合 形成 了 码 5 的 一 个 陪 全 加 , 即 一 个 具有 如 下 形式 的 V,( EPR: 

C +z = {xt 2: x € C) (7.4) 
对 应 于 “个 可 能 的 伴随 式 s, 码 G 一 共有 人 一个 陪 集 ;每 个 陪 集 包 含 4 个 元 素 。 因 此 一 只 
接收 方 计算 出 8, 就 可 以 将 对 z 的 搜寻 范围 从 g” 种 可 能 降低 到 4 种 可 能 , 即 搜寻 范围 是 与 s 相 
对 应 的 陪 集 元 素 。 

然而 ,为 了 区 分 z 的 gt 个 候选 者 ,有 必要 了 解 更 多 关于 信道 的 知识 。 在 本 节 中 假设 信道 
是 ç 进 制 对 称 信道 (qSC), 即 如 果 不 是 表示 信道 输入 的 随机 天 量 ,Y 是 表示 信道 输出 的 随机 天 
m ,册立 =X+2Z, 其 中 Z=( Zi,Z,,…，,2Z.) 是 一 个 随机 矢量 , 它 的 分 量 是 独立 . 同 分 布 的 随机 变 


' J: ” z : à 
+ =k y E “ty : ' 
小 dc Ë ae Y. 
: i Sif Jaa | am AY 
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量 , 基 有 相同 的 分 布 : 
P{Z=0}=1—-(q¢- le 
P{Z =z} = s, MHz Z 0 (7.5) 
xT ix “Male IRB a Kot E re Be TAA SR AAMER z€ TF,(F), 则 ， 
PLZ = zà — [1 — (g — pje “ew (7.6) 


其 中 wa DA z 的 充 明 重重 ,被 定 交 为 z see TR. RIN, wy (z)jt z Po Ble 
的 个 数 。 如 果 es<slrr, 式 (7.6) 等 号 右边 就 是 wu, (Zz) 的 减 函 数 ,因此 最 有 可 能 的 z 就 是 具有 最 
小 重量 的 z, LT la <£ < (q -1) 的 情况 ,见习 题 7.3。] 

图 7.1 说 明了 伴随 式 译 码 器 的 王 作 原理 ,至 少 在 理论 上 是 这 样 的 。 当 然 ,这 个 算法 中 的 步 
又 2 工作 量 互 大 ;实际 上 第 8 章 和 第 9 章 的 主要 目的 就 是 针对 4 进 制 对 称 信 和 道 设计 一 些 线性 
码 , 使 得 步骤 2 易于 处 理 。 当 然 , 如 果 坟 和 nw- 上 的 值 都 相对 较 小 ,就 可 以 通过 “ 查 表 ”" 的 方法 
实现 步骤 2, 我 们 现在 就 来 介绍 这 种 方法 。 


1. iA RA s= Hy’. 
2. FEF s ARR E HR EB X RE. BEA zoo 
3. Mia F x= y- Zm. 


图 7.1 q 进 制 对 称 信道 的 伴随 式 译 码 算法 
再 一 次 考虑 码 C; ,前 面 给 出 它 的 一 致 校 验算 阵 为 : 


1 10 0 0 
w=lPo gad 


在 这 个 简单 的 例子 中 只 有 四 个 可 能 的 伴随 式 :00,01.10,1t1。 可 以 将 32 PAM Z= (2.22.25, 
z ,zs 依照 它们 的 伴随 式 进 行 分 类 ,并 如 图 7.2 所 示 , 将 它们 排列 在 一 个 4x8 PREP , BE 
的 元 素 都 属于 V.(F,) ,这 样 的 排列 称 为 标准 阵列 。 标 准 阵列 的 行 是 C 的 陪 集 ;例如 ,第 一 行 
就 是 码 本 身 。 在 每 个 陪 集中 具有 最 小 重量 的 一 个 矢量 被 列 在 最 前 古称 为 陪 集 首 。 一 般 说 来 ， 
除 码 本 身 以 外 , 陪 集中 的 每 个 元 素 等 于 它 的 陪 集 善 加 上 写 在 它 上 曾 的 那个 码 字 。 例 如 第 三 行 
的 元 素 01101 SAFE NE A 01000 加 上 三 字 00101。 注 意 在 这 个 例子 中 ,伴随 式 01 8 = TR 
选 的 陪 集 首 (三 个 斜体 的 重量 为 1 的 矢量 ) ,而 在 其 他 的 三 个 陪 集中 设 有 出 现 这 种 情况 。 





O0110 11001 11010 1130) E1111 
OOO TG i1EOL 11110 11000 11011 
01110 10001 10010 10100 10111 
il | 10000 10011 10101 10110 1001 O01010 01100 Ntlli 


图 7.2 C, 的 标准 阵列 


给 出 标准 阵列 后 ,就 很 容易 实现 图 7.1 中 译 码 算法 的 步 又 2; 在 传输 前 先 建 立 一 个 表 , 它 包 
含 所 有 的 (s,z(s)) 对 ,其 中 ss 是 ¥- :个 可 能 伴随 式 中 的 一 个 , 面 z(s) 是 伴随 式 s ERE. iX 





© `. - = 四 — 4 
- 
CCAM cee Aa ah de ee gre eg te es a a me ee eee Pee ee 
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样 步骤 2 就 简化 为 ; 

2'. & I = z(s) 
如 果 这 种 方法 是 可 行 的 { 即 对 应 于 g"“* 个 伴随 式 中 的 每 一 个 伴随 式 ,如 果 能 够 观 先 计算 和 在 
储 它 的 陪 集 首 ) ,那么 相应 的 译 码 算法 就 是 已 知 最 快 的 一 种 痒 码 算 法 。 


7.3 汉 明 几何 和 码 的 性 能 


如 果 定 尽 商 个 矢量 x 与 之 则 的 汉 明 距离 如 下 ,矢量 空间 包 ( 品 ) 就 可 以 变 为 度量 空间 : 
dix, y) = SË x; = yi HTA 
一 Try — Xx) 
(XE A ee BE SSE Es 气 习 题 7.4。) 码 的 汉 明 几何 与 它 在 q 进 制 对 称 信 
道上 的 纠 错 能 力 之 间 存 在 着 有 趣 的 关系 ,现在 就 来 研究 一 下 。 

A> C= |x ,二 ,… ,Xu 是 一 个 码 长 为 n 的 码 , 但 不 一 定 是 线性 的 ,将 它 用 于 q 进 制 对 称 信 
道上 。 假 没 希 望 C 能 够 纠正 汉 明 重量 < e 的 所 有 错误 图 案 ; 即 如 果 发 送 x, ,接收 到 Y= x, + z, 
Hw, {2} <e, 我 们 希望 译 砷 器 的 输出 是 xX=x,。 容 易 看 出 如 果 每 个 码 字 以 UM 的 概率 等 概 发 
送 ,那么 接收 方 猜测 发 送 码 字 的 最 侍 策 略 是 选 出 与 y 距离 最 近 的 那个 码 字 , 即 可 以 使 d(x;,Y) 
最 小 的 那个 码 字 (见习 题 2.13)。[ 注 意 :因为 dy (x,,Y) = wa(z) ,图 7.1 描述 的 线性 码 伴 随 式 
译 码 方法 等 价 于 “寻找 距离 最 近 的 码 字 ? 译 码 方法 .] 显 然 如 果 采 用 这 种 几何 译 码 策略 , 则 人 码 能 
aH EM S RE < e 的 错误 图 案 的 充分 必要 条 件 是 ,每 一 对 码 字 之 间 的 距离 都 守 2e + 1。 因 为 
[ 见 图 7.3(a) ] 如 果 di (x,,x,)e2e+ 1, OSE x, 5 x, 的 半径 为 的 汉 明 球体 是 不 相交 的 ,并 
AH x 而 dy (x, ,y)=<e,Mj yj x 的 距离 不 可 能 小 于 它 与 %, 的 距离 ,所 以 几何 译 码 器 会 选 
择 x WR x. ABR, WR dy(x, ox) 和 <2e, 即 如 果 半 径 为 。 的 汉 明 球体 相交 [ 见 图 7.3(b)j， 
那么 很 显然 ,如 果 发 送 x, , 则 存在 一 个 了 满足 d,(x,,y)= e, E 55 x, 的 距离 至 少 等 于 它 与 X% 的 
距离 。 由 此 我 们 定义 码 C 的 最 小 距离 为 ; 

dnin( C) = ming d(x, x’: XX € C, x Æx} 


而 且 证 明了 下 面 的 定理 。 


(a) (b) 
图 7.3 PRISE AA SIME EB93E IZ 3 e 的 汉 明 球体 
定 捍 7.2 8 G= lx ye xy EBA EMA EE < e GARAR, SARÉ dual C) 
tad la 
例如 ,一 个 da =7 的 码 能 够 纠正 所 有 重量 大 3 的 错误 图 案 ; 如 果 dai = 22, 则 能 够 纠正 所 
有 重量 三 10 的 图 案 ; 等 等 。 
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现在 将 这 些 对 任何 人 赚 都 通用 的 通用 结论 ,应 用 于 线性 码 这 种 特殊 情况 。 首 先 观察 到 , 国 为 
dy (x,x') = w(x- x), ZARA C PASC H x. x') Wj x- 一 定 是 《的 一 个 ( 非 霉 ) 码 
7 MUAH a) Pa SEM RS ew. C) 相 等 ,其 中 ， 

wma( C) = min{wy{x}: x€ C, x Z 01 

因此 ,要 计算 (na RREI di ,不 必 计 算 Cg" - q) AER dp, xO (HP x= x' y; 而 只 
需 计算 o -1 个 重量 wio (HP xO EE f. 下面 的 定理 给 出 了 计算 线性 码 d S- 
种 方法 ,有 时 这 种 方法 更 为 简单 。 

定理 7.3 HCF, 上 的 一 个 (n,) 线 性 码 , 具 有 一 致 校 验 夫 阵 丹 , 则 dal C)= H Y 

线性 相关 列 的 最 小 数目 。 因 此 如 时 H 65 4t3E 21 及 更 少 的 列 所 组 成 的 子 集 痢 是 线性 无 美 

的 , 则 这 个 码 能 够 纠正 所 有 重量 二 上 的 错误 图 案 。 

EE ”如果 g =2, 则 "线性 相关 "可 以 替换 为 " 求 和 为 和 。 

证 明 ;C BF RMA Hx” = 0 ñ MAKE XC VF OCET.) MER Hx AH PS 

列 的 一 个 线性 组 侣 ;实际 上 ,如 果 [e ee | WF, Hx = x € +`" + x €. o A 

此 一 个 重量 为 w MES D sp PETA Pw ALW PETAR Pk 38 X: ; REARS, 

这 就 证 明了 该 定理 。 

推论 如 果 w=2, 且 吾 中 过 e 列 的 所 有 可 能 线性 组 合 都 不 相同 , 则 dal C) e204 1, k 

Tio CHB RGR < e 的 所 有 错误 图 时 - 

证 明 : 证 明 过 程 慷 做 习题 了 .7。 

为 了 说 明定 理 7.3, 不 妨 考虑 前 面 的 三 个 一 致 校 验 矩 阵 、 显然 H, 中 任意 4 列 或 更 少 列 的 
子 集 是 不 相关 的 ,但 是 所 有 列 的 和 等 于 0; 因 此 d(CG)=5。 TW H, BJ dul C) =2, BA H, 
的 第 3 列 和 第 4 列 是 相同 的 。 对 H. 的 研究 非常 重要 ,我 们 将 在 下 一 节 中 进行 讨论 。 


7.4 MAA 


作为 参考 ,这 蛙 重 新 写 出 C, hJ— j 4210 yB Er : 


现在 利用 定理 7.3 来 确定 它 的 ds。 根据 定理 后 向 的 注释 , di 是 H 中 由 加 等 于 0 的 最 少 列 
Er. BR d 关 1 和 2, 因为 H, 的 列 不 为 零 而 且 互 木 相同 。 但 是 , A 和 存在 许多 三 列 组 成 的 子 
集 ,例如 ,第 1 列 . 第 2 列 和 第 3 列 ,它们 相 加 等 于 0。 因此 du =3,C; 是 一 个 能 够 纠正 单个 错 
误 的 码 , 即 它 能 够 纠正 所 有 重量 为 0 或 1 的 铺 误 图 案 ， 最 后 ,注意 到 如 果 C 是 任意 能 够 纠 止 
单个 错误 的 (n,n -3) 码 ,那么 n=? AAS 3x n MERAH 18 WER RIA 0 
(d= DRBA— MAG d... =2)。 下 耐 是 二 进 制 汉 明码 的 一 般 定 义 。 


EM SHEP mx (2-1) HME, H 6 p] 3 V, ( F,) PARE RA A 5] 65 
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2" -|SAERAE, HE F, b, -ARRES H O(n =2"-1,h =2"-1-m) RES 
被 称 为 码 长 为 2" -1 的 (二 进 制 ) 汉 明码 ill, 


下 耐 介 绍 议 明码 的 两 个 特点 。 首先, 非常 容易 实现 伴随 式 译 码 。 如 果 错 误 图 案 z= 0, 
尾随 式 s=0; 但 是 如 果 wgl) =1, 比 如 说 z=1, 则 ss=c, 即 五 的 第 i 2. 因此 由 伴随 式 可 以 
直接 确定 错误 位 置 ,图 7.1 中 的 通用 泽 码 算法 变 为 图 7.4 所 人 述 的 特定 算法 。 其 次 ,把 C 能 够 纪 
ERB <1 的 所 有 图 案 , 当 且 仅 当 围 绕 各 码 字 的 半径 为 1 的 汉 明 球体 互 不 相交 。 但 是 v. ( F,) 
FERA 1 的 汉 明 球体 内 包含 有 n+l TRE, N I — T Bb 3 zl 1E SE 4" šB Ta BJ 5 2 2 J 6 
2" /(n + IMSS. RHE, "i n=2" - 1 BPP. EEA 2 "HP aS ERM 
中 码 字 的 数目 ! 因此 汉 明 码 具 有 完美 的 几何 性 质 , 即 围绕 各 码 字 的 半径 为 1 BR AR ee OMS 
V,( 上 FF,) 而 没有 重合 。 这 意 昧 着 汉 明 码 属于 一 类 非常 特殊 的 码 , 即 完备 码 。 除 此 之 外 ,公有 的 
二 进 制 线性 完备 人 旭 是 重复 码 ( 见 习题 7.18) 和 (23,12)Golay 码 ( 见 9.8 节 )。{ 另 见 第 12 BAT 
完 第 但 的 讨论 ,) 

1. 证 算 伴随 式 | = Ay! 

2. WR s=0, 30H x = y. 

3. 否则 s 等 于 五 的 某 一 到 ,例如 8s=t,。 在 ¥ S sr E 
加 1( 模 2), 将 结果 作为 输出 - 


图 7.4 祝 明 码 的 翌 随 起 详 玛 


习题 7.17 和 习题 7.19 给 出 了 汉 明 码 的 几 种 变形 ,其 中 包括 非 二 进 制 汉 明 码 。 然 而 ,汉阳 
码 最 有 意义 和 最 有 价值 的 推广 ,是 一 类 能 够 纠正 ete > 日 个 错误 的 码 ; 这 个 推广 是 第 9 章 的 
EH, 


7.5 一 般 9 进 制 信道 上 的 伴随 式 译 码 


在 7.2 节 中 介绍 了 ç 进 制 对 称 信道 上 线性 码 的 一 种 译 公 算法 。 然 而 ,只 有 少数 具有 4 个 
输入 和 gq 个 输出 的 信道 可 以 模拟 为 4 进 制 对 称 信道 ,因此 本 节 中 将 简单 地 讨论 在 更 复杂 的 信 
道 条 件 下 ,线性 码 的 泽 码 问题 。 

& CHEF, 上 的 一 个 (mn , 丰 ) 线 性 码 , 用 于 一 个 输入 和 输出 符号 集 都 等 于 F, 的 信道 。 我 们 
假定 信道 噪声 是 加 性 的 ,就 是 说 ,如 果 x= (a, ) 是 发 送 的 码 字 , 则 接收 天 量 y 由 y=X+z 
给 出 ,其 中 名 = (2 ，……,2Z,) 是 随机 噪声 矢量 ,其 分 布 由 p|Z= zt=p(z) 给 出 ,zE VF) Li: 
意 7.2 节 的 q 进 制 对 称 信道 符合 这 一 描述 , 它 的 P(z) 由 式 (7.5) 给 出 .| 

在 这 个 信道 上 怎样 译 码 CUR? 像 以 前 一 样 ,第 一 步 是 计算 伴随 式 s= Hy’ ,以 确定 错误 图 
案 z 所 属 的 陪 集 。 但 是 此 时 在 对 应 伴随 式 s 的 陪 集中 ,最 可 能 的 错误 图 案 是 具有 最 大 p(z) 值 
的 那个 ,而 不 是 具有 最 小 重量 的 那个 错误 图 案 。 因 此 在 这 种 情况 下 , 详 码 算法 (对 比 图 ?了 .一 
般 由 图 7.5 给 出 。 
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aa. 


iP SPR s= Ay’. 
. EAA F s HREH FRA RAR plz RE 
= J za: 
DY KY- Z. 
图 7.5 任意 加 性 ç vt Rie FA PPR ES 


例如 ,考虑 在 一 个 信道 上 采用 C, ,对 于 该 信道 上 长 度 为 5 的 错误 图 案 , 其 出 现 概 率 由 下 表 


ba 


ae | 


给 出 : 
z plz} 
90000 0.30 
OOO 0.06 
01010 0.05 
1000] 0.04 
O11) 0.08 
10101 0.02 
其 他 0 


通过 检查 C. 的 标准 阵列 { 见 图 7.2) ,我 们 发 现 伴随 式 00 的 陪 集 ( 码 本 身 ) 仅 含有 六 种 可 能 的 
错误 图 案 之 一 , 妇 00000, 因此 00000 仍然 是 它 的 陪 集 首 [p tz) 最 大 的 错误 图 案 ]。 类 似 地 ， 
00100 仍然 是 01 的 陪 集 首 。10 的 陪 集 包 含 10001 #101110, BE EAA 10001 更 有 可 能 ,所 以 它 
有 是 陪 集 首 。 最 后 ,在 11 的 陪 集中 ,01010 而 不 是 10101 被 选 为 陪 集 首 。 可 岂 , 对 于 这 个 特定 的 
码 和 信道 ,伴随 式 和 障 集 首 的 对 应 关系 应 该 如 下 表 所 小: 


伴随 式 陪 集 首 
0 00000 
ol 00100 
10 10001 
Il 010)0 


而 译 码 错误 概率 ( 实 陈 错 误 图 案 不 是 陪 集 首 的 概率 ) 为 p(01110) + p(10101) =0.05。 
省 憾 的 是 ,图 7.5 中 的 译 码 算法 有 两 个 难点 。 第 一 个 难点 是 ,如 我 们 在 7.2 节 所 看 到 的 ， 
步骤 2 的 实现 可 能 会 非常 困难 ,除非 码 足 够 小 ,能 够 预先 算出 一 个 联 集 首 的 表 。 第 二 个 难点 
是 .对 于 大 名 数 “ 真 实 "信道 ,只 能 通过 浏 斌 经验 性 地 获得 概率 p{z); 实 际 上 ,如 果 n 的 值 稍微 
大 一 些 , 就 会 根本 观察 不 到 大 多 数 可 能 的 z, 因 此 对 它们 只 可 能 做 一 个 粗略 的 估计 , 即 对 于 某 
AY a HOR p(z) <a 的 估计 。 下 面 将 介绍 在 这 种 情况 下 有 了 时 很 有 用 的 一 种 通用 方法 。 
: S F 39 V,( F.) — TE K 天 看 做 信道 上 具有 “中 等 "以 上 发 生 概率 的 错误 图 案 的 集 
i 合 , 令 五 为 严 的 一 个 子 集 , 将 严 看 做 是 具有 "高 "发 生 概率 的 错误 图 案 的 集合 。 给 定 一 个 线性 
码 5 .如 果 可 能 ,我 们 希望 设计 一 个 译 码 器 , 它 能 够 答 测 到 严 中 的 错误 图 案 , 并 纠正 É 中 的 错 
i BRR. AERA, UVR RR SEG NUE x, RAAR RS”. BRAR 
7 送 的 是 x, 接收 到 的 是 ¥= XxX+z, 则 有 下 面 三 种 可 能 : 


(a) 详 码 器 输出 码 字 x = x. 
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(b) 译 码 器 输出 码 字 x. x. 
(ce) PRESSE“ ?” 
在 情况 (a} 下 ,我 们 说 错误 图 案 z 被 纠正 了 ;在 情况 (b) 下 , 译 码 更 产生 了 一 个 错误 ;在 情况 (ec) 
下 , 译 码 胡 检 测 到 一 个 错误 . BUTE Pe: 
EM PREPARE CHEBS  CHBA ELE PHARAR z, EBA ERIN 
Fo? SAAS z, WAAR C 2) E 2468. F eee, 
定理 7.4 CAF, 上 的 一 个 (Cn DRED RA- RREH AGS EC F 2 
V (FF) 的 子 集 . 则 C 为 瓦 纪 错 、 正 检 错 码 的 充分 必要 条 件 是 它 具 有 下 列 性 质 : 
(a) z ,Z C E ,z +m, PP He = He 。 
(b) z€ E,z,C F-—- E, Ha = Hz; 。 
证 明 : 首 先 假设 {a) 和 (b) 已 经 满足 ， 设计 一 个 合适 的 译 码 器 :第 一 步 是 建立 一 个 包 会 
or “对 (Ss, f(s)) 的 表 , 每 一 对 (s,f(s)) 对 应 于 一 种 可 能 的 伴随 式 s, 并 且 对 于 所 有 的 $8, 设 
fls) =?。 第 二 步 是 修改 这 个 表 , 对 所 有 2zEE, 设 A( Hz ) =z。 则 使 定理 成 立 的 译 码 商 法 
+o F: 
Ls 计算 = Hy’. 
2. eR fs) E VCF). Mark x=y- f(s). 
ce 和 否则 输出 HSE 
在 习题 7,9 中 ,将 验证 这 个 译 码 算 法 的 有 效 性 ,并 证 明 其 说 命题 。 
例 7.4 + CHU DAB: 


Ü 
l 
l 
| 


— w Ü — 


0 0 
t 0 
0 | 
! 1 


— — — — 
p=; Pa p= — k 


(GAGE AT EM H, 附加 上 一 行 10) 令 E= iziwy(2)=0 8 11, F = 12: wlz) = 
0,132. SHEA CAE P|. RED 8 8 E k ok HEPBR MABE 
码 ( 证 明和 推广 见习 题 7,17)。 

例 7.5 + CREED, HORUS, Rit 的 一 个 单 检 错 译 码 器 : 令 A(0) =0, 而 对 所 有 的 伴 
RX sz0, 令 f(s) = ?。 这 个 译 码 器 不 能 纠正 任何 非 零 错 误 图 党 ,但 是 它 可 以 检测 到 任意 
HERE x, 除非 是 的 一 个 非 堆 码 字 。 因 此 译 码 器 的 错误 概率 就 是 Zz 为 CPES 
守 的 概 痊 。 如 果 我 们 假设 信道 是 q 进 制 对 称 信道 , 则 z 等 子 一 个 重量 为 w HH RBH 
WRAL- (g 一 1)e]"*e"[ 见 式 (7.6)]。 因 此 如 时 以 A RRC 中 重 醒 为 i 的 码 字 数目 ， 
则 这 个 单 检 错 方案 的 错误 概率 站 : 


Pe = 5 Aye'[1 — (q — Del" 
i=] 


= [1 — (q — Be] 'TLA(ó) — 1] 


(7.7) 
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JeCF ë= = /[ i- (q-—1)e|],m A(z)= A +A ct +A 2CEZRRT R 25 6085 A A= 1), 
A MERA AAAS COS BAR $ Th = 


7.6 重 最 枚 举 多 项 式 和 MacWilliams 恒等式 


重复 一 下 :如果 C Pn, ARTES WERE SMTA 
A(z) = Ap + Az +t- + Aaz" 

其 中 4 Em CHARS HiT CT. BRA HL, MA) = qr 于 如 我 们 所 看 到 
的 [ 见 式 (7.7)], 4 C VH SB iT OTA} 4(z) 来 计算 错误 概率 。 

下 面 的 定理 说 明了 , 当 售 道 为 离散 .万 记忆 信道 并 腔 几 最 太 似 然 准 划 译 但 时 ,可 利用 A( z) 
给 出 错误 概率 的 界 随 ,这 是 4(z) 的 -- 种 刚 有 意义 的 应 用 。{( 伴 随 式 译 码 是 一 种 最 大 似 然 泽 码 
方法 。) 为 简单 起 见 , 我 科 只 考虑 二 进 制 玛 ,更 一 般 的 情况 参见 习题 7.10。 

定理 7.5 入 已 是 一 人 二进制 线性 码 ,用 于 输入 符号 集 A, = i0,11 及 输出 符号 集 为 Ay, 的 

DMC 上 ;并且 采用 最 大 似 然 准 则 译 码 。 则 最 终 的 错误 概率 界限 为 : 

Pr = A(y)—! 
其 中 ， 
y = > / pOl pL) (7.8) 


yids 
(44 3d ST BHR ay BA e 的 BSC, y a2 Vv e(l—e)o} 
WEA: & CiN, X. | SEP x, = (00...0), 3-2 PE? RPM x, 时 的 译 码 错误 概 
Z. to BR 40k 2] y, ML 译 码 器 输出 的 是 使 p(y1%,) 尽 可 能 大 的 码 字 。 现 在 假设 传输 的 是 
Xoo HH plyn) > p(yix;), 则 译 码 器 肯定 不 会 输出 x; ,因此 如 果 了 = ly:p(ylx,)= p(ylx)i, 


则 有 : 
M-i 
PP < >` Q; (7.9) 
i=i 
其 中 ， 
yer; 
因为 对 于 所 有 YEY ,wv p(yYIx ip (yl) > 1, eh sf 138 A710) # #o P 65 #£-— 5 3k 22 
议 个 因子 ,得 到 ， 
Q; = > ` y p(y|xo)p(ylxi) 
yË Y, 
现在 ,将 求 和 扩展 为 对 所 有 的 VE Ay 求 和 ,可 以 担 到 O. 的 一 个 比较 能 的 上 和 界 ， 
Q, = Y ` V/ply|xo) ply) (7.11) 
y£ A; 


进一步 利用 杂 件 p(ylx) =p y bay Jeph y, |x.) , Py= (Fiss Yah’ X = (x, ry TO oS 
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换 式 (7,11) 中 来 积 与 求 和 的 顺序 ,得 到 ， 
Q = H >_ v PCY 00) PO rie) (7.12) 
k=l Ed 


其 中 Ky = Cao's Mon) X: = (ru, Kyo 显然 ,如 果 Xy = Xe. A (7.12) 内 部 求 和 项 等 
于 1, 如 果 xg, xL, ABRAMS F Y[ 见 式 (7.8)]。 因 此 式 (7,12) 简 化 为 : 


0; = yanl) (7. 13) 
其 中 dy 表示 汉 明 距离。 结合 式 (7.9] 和 式 (7.13) ,我 们 得 到 : 
Pe < 5 ` Ay: (7.14) 
i=] 


KPA? AS x, 汉 明 距离 为 i ARS T x, 的 码 字 数目 。 而 这 正 是 汉 明 重量 为 i HOF 
数目 , 即 4 。 因 此 如 果 传 输 而 , 则 如 前 面 所 避 证 的 , 译 码 颖 的 错误 概率 过 407) - 1。 如 果 
传输 的 是 某 个 其 他 码 宇 ,例如 和 , 同 理 可 以 证 明 最 终 的 错误 概率 PY g2 m APY ,其 中 
AY Sx, 汉 明 距离 为 i 且 不 竺 于 的 码 字 数目 。 但 是 因为 码 是 线性 的 ,所 以 有 AY = 
AM = 4 (597.12), RRA T Ee, 


7.6 AS PHC A 0000 和 111 两 个 码 字 。 显 然 它 的 重量 术 举 多 项 式 是 
A(z)=1+27.4 BSC E,Z 7.5 p H 0 Pp =32[e(1- )]72 MRMNAAB I 2 98 
23 AF3], p, = We? (1- e) + 5e4(1 — e) + £° = 10e? -15e +6e”。 因 此 对 于 非常 小 的 & 
JE, ET SRS KAS RA $ (3262 HH 1082). 3A 7.26 提出 了 一 种 改进 
现在 可 以 很 容易 地 计算 出 码 C, RHH C, 的 重量 枚 举 冤 项 式 , 因 为 它们 分 别 仅 含 8 个 和 16 

个 码 字 。 不 过 首先 将 证 明 下 面 这 个 著名 的 定理 , 它 说 明 通过 将 对 侦 码 C- 的 重量 枚 举 多 项 式 

进行 简单 的 线性 变换 ,可 以 得 到 码 C 的 重量 梳 举 多 项 式 。 
定理 了 .6 (MacWilliams 恒等式 ) 令 A(z) 是 一 个 (n, 占 ) 线 性 码 CH F fk 28 2 ñ <, HS 
B(z) 是 其 对 惕 码 C+ 的 重量 枚 从 多 项 式 , 即 ， 


B(z) = 5 Bz! 
j=0 
其 中 B. = 6 中 重量 为 了 的 码 字数 目 。 则 4(z) 与 B(z) 的 关系 为 公式 : 


A(z) = a Ad — (1 + (g — zy? 
i=0 
x 证 阴 : 这 里 仅 就 二 进 制 码 的 情况 详细 证 明 该 定理 ,将 定理 的 推广 留 给 读者 (见习 题 7.27)。 
i 首先 建立 一 些 约定 。 设 和 = (2, ie, ER F E— F FE RK RR P KE, BS m=1 ET 
A w(x REM RASH, PPS EH PS, BARI R x 是 一 个 标量 (好 xC F), 
则 ， 


way {0 oe (7.15) 
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现在 令 下 = 下 为 一 个 包含 两 个 元 素 的 域 。 如 林 relra Fy gly y, ES 
KF HPPFRA 正中, 定义: 
(x, y) = (— 1) TT Aen (7.16) 
Kob(-1)=1,(- 1) = - 1. 
引 理 1 + C X F, bih Ain, DRESS V (F,)= VAA FEM, E] E. y 
是 了 中 的 尾 意 元 素 , 则 ， 
24 EEC- 
y= 4 N 
2 0 ,YC 
WR: +F AB] £ 6 y xe < xy> A CRRI,- LIA PA SRB, OR 
yC C- ,那么 对 于 所 有 的 KE CA <x,y> =1, 显然 引 理 1 RATER, EX wR 
yg Cl , 则 这 合同 态 是 非 平 凡 的 , + 1 和 -1 出 现 的 次 数 相 同 ; 因 此 求 和 式 等 于 0. 
引 理 2 Ax HE V-V (F FPA- ABEE, HS z 是 一 个 不 确定 值 。 则 ， 
S z") y) 一 【1 — EL + zy) 


ye F 
证 明 ;: 只 需 计 其 
Y ` zx, y) = y` ... s ` zw) tot WO Oe pi) (XA, Ya) 


yer wer YF 
| RA (7.15) oA (7.16). | 
T 
= y ... [| zx vi) 
EF yn 上 【一 | 


2 38 RA‘ MARA ,我 们 得 到 : 


显然 如 果 x, =0, 最 后 的 求 和 项 为 1+z, 如 果 x; =1, 则 为 1-z, 又 因为 妇 (%) 定 义 汶 xX 中 等 
于 1 的 分 醒 x 的 个 数 , 这 就 得 出 了 引 理 2。 


现在 继续 证 明定 理 7.6. SRAM RA A AHR RR: 


zy. x — x") (7.17) 


uK EC yer 
如 早先 计算 式 (7.17) 的 内 求 和 项 ,由 引 理 2, 会 得 到 : 
S (1 _ zj aN] 十 zy Ma) — S TAI _ zd + zy": 
Kx et == Ü 
其 中 A 等 于 满足 w(x- x') i MSA (x x HRA, SHY PEA ŽIA, 
Z A. 是 重量 为 i 的 码 字 教 目 {见习 题 7.12), 因 此 式 (7.17) 等 于 : 
ah > ` A) — z)!(1 + z)" “° (7.18) 


f=) 


SH 
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现在 如 果 改 变 式 (7.17) 的 求 和 顺序 ,可 以 得 到 ，; 


Den yee) 








yer Lx EC 
CHA RAPA A: 
3 

Yma (y, —x) =| Y (y,x) 

x Pee KEC 
根据 引 理 | oR yC C- ,这 个 式 子 等 于 2 da ye C: , 则 等 于 0, 因 此 式 (7.17) 变 为 ; 

2 5 B jz! (7.19) 
yec- 7-0 


Mo A(7.18) 2 A (7.19) ,就 得 到 了 定理 7.6 的 千 论 . 

Mac Williams 恒等式 的 重 坚 价值 在 于 ,为 了 计算 一 个 (n ,上 ) 线 性 码 的 重量 枚 举 包 项 式 , 通 常 
需要 了 解 所 有 w 个 码 字 的 重量 。 虹 然 这 是 一 项 艰 户 的 任务 ,除非 大 的 取 值 相 对 较 小 。 但 是 如 
果 上 的 值 非常 大 而 mn 天 的 值 很 小 ,就 可 以 先 计算 其 对 倘 码 C- 的 重量 校 举 多 项 起 ,由 此 再 计 
算出 C 的 重量 枚 举 多 项 式 , 例如 ,一 般 的 二 进 制 汉 明 码 { 见 7,4 r) 8 n = 2" - 1, 
k=2" -1-m HAERES -!-" 个 码 字 重 景 的 任务 看 来 可 能 是 无 法 完成 的 。 但 是 它 的 对 侦 码 
(LA 2" 个 码 字 ,其 重量 枚 举 多 项 式 出 非常 简单 ,因此 利用 定理 了 7.6, 可 以 计算 出 汉 明 码 的 通用 
4(z) 公 式 ( 克 下 南 的 例题 ,以 及 习题 7.29 和 习题 7.30). 

例 7.7 现在 我 们 准备 计算 本 章 中 码 C, 和 码 C, 66 Al). C, 是 一 个 (5,3) 码 ,有 8 个 码 宇 。 

但 是 它 的 对 惕 码 Cr 是 一 个 (5,2) 码 , 仅 有 4 个 码 字 ,因此 先 计算 出 对 偶 码 的 重量 枚 淮 多 

项 式 ， 根 据 7.1 节 的 结论 ,C, 0 — 8 Ba CP 的 生成 拭 阵 ,在 前 面 我 们 找到 了 


这 个 矩阵 : 
I 1 0 0 0 
1 0 1 1 l 


因此 Cr 的 4 个 硒 字 为 00000,11000,10111 # 01111; 269 4(z)=1 +2422, 根据 定理 7 了 .6， 
C RH METAR $ Jf < 29 ; 


Ll + zA C=) = +z +0 +27 — 2) +201 +: 2M ig)" 

= J 4.322 E 35 3:22 
TRC, 会 有 1 个 重量 为 0 的 码 字 ,3 个 重量 为 2 的 码 字 ,3 个 重量 为 3 的 码 字 和 ] 个 重量 

为 的 码 字 { 当 然 , 很 容易 直接 验证 这 小 结论 中 

例 7.8 美 似 地 ,(7.4) 汉 明码 C, 的 对 偶 码 C3 具有 生成 给 阵 : 

I ] Ü 
1 0 0 
0 l 


— — Z 





l 
| 
0 | 


1 0 
0 | 
1 0 
当 计 算 它 的 重量 枚 举 多 项 式 时 ,我 们 惊 青 地 发 现 ,了 个 非 零 码 字 的 重量 都 是 41 因此 





> < te eee rr 
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ACz)=14+72' ,根据 定理 7.6, 人 本身 的 重量 检举 多 项 式 为 : 


1 + z) + 7 — 2) +29] = 147274724 + z? 


习题 


7.1 


设 CE MER ( mod 3) 域 F, = 10,1.2| 上 的 线性 码 , 其 生成 矩阵 为 ，; 
I 1 1 D 
G = Ë 0 1 1 
Ca) 利用 伴随 式 译 码 方 法 对 下 列 撩 量 进行 译 码 :2121,1201,2222( 假 设 信道 是 对 称 的 )。 
(b) 计算 该 码 的 重量 枚 举 多 项 式 。 


7.2 设 一 个 (6,3) 二 进 制 线性 码 C 的 生成 矩阵 为 ， 


7.3 


7.4 


7.5 
7.6 


T.f 
7.8 
7.9 


(a) 写 出 C ITERE E RE 
(b) 写 出 CABU EE H, 
(e) 分别 写 出 C 的 8 个 陪 集中 的 最 小 重量 陪 集 首 : 
(d) 设 A(i=0,1,° OER C 中 重量 为 i 的 码 字 个 数 , 写 出 A, 的 值 。 
(e) XP FREE BEAT STS: 111010,;000011,101010( 假 设 信道 为 二 进 制 对 称 信道 , 且 
p < 1/2). 

假设 ¿ 进 制 对 称 信 道 的 错误 概率 6 满足 s > 1/9 ,应 该 如 何 修正 7.2 节 中 介绍 的 译 人 码 
算法 ? 

说 明 7.3 节 定义 的 汉 明 距离 d, 满足 真正 的 测度 所 具有 的 下 列 人 性 质 ， 

(a) d(x,x) =0. 

(b) ME xy, Ñ] d(x,y) > 0. 

(c) d(x,y) = d(y,x). 

(d) d(x,y)= d(x,z) + d(z,y). 

证 明码 长 =2" - 1 的 不 同 汉 明码 的 总 数 为 (2" - 1) TEL (2” - 2°) 

LE eR) FERRERS AK A SR ER hik (OLE BS AR a ES C, HET 
证 明定 理 7.3 的 推论 : 

对 才 不 同 的 n 值 ,寻找 一 种 dal C 2 且 编 码 速 率 最 大 的 线性 码 和 。 它 是 惟一 的 吗 ”? 
完成 定理 7.4 的 证 明 。 


7.10 设 C 是 在 9 进 制 对 称 入 道上 传输 的 一 个 9 进 制 线性 码 , 译 码 采用 最 大 似 然 蕉 则 。 证 明 


译 码 后 错误 概率 的 界 为 A(y)} - 1, 共 中 4 为 硒 的 重量 校 举 多 项 式 , 而 ?7= 
2v eli-(g-1l)e|]+e(lg-2)Lg 进 制 对 称 信 道 的 定义 参见 式 (7.5)|]。 


7.1t q 进 制 删 除 悟道 是 一 种 离散 无 记忆 信道 ,其 输 和 人 字符 集 A, = F., F, — F s q TOR 





122 信息 论 与 编码 理论 (第 二 版 ) 


7.12 


7.43 


7.14 


的 有 限 域 , 而 输出 符号 集 4y = EUR A? Ros Pe RRS. 假设 发 送 

x = (aa 并 接收 到 y= (yy,…,y,)。 如 果 所 下 但 是 y; 关 x, 说 明 第 i 个 位 置 上 

出 现 一 个 错误 ;如 果 y=“?” ,说 田 该 位 置 上 出 现 一 个 删除 符号 。 

(a) Ë C j F. 上 的 一 个 (n,#) 线 性 码 , BRD RA d... YE BH 384 B. X H 
daa m2e + f + lit C Hee Pra e 个 错误 和 了 个 删除 符号 的 组 合 。 

(b) 假设 信道 是 一 个 纯 删除 信道 , 即 队 韭 y =x 或 Y=“?"”, 否 则 p(y1x) =0。 试 说 明 在 
这 种 情况 下 ,可 利用 判断 x 是否 为 码 字 的 条 件 Hx =0, 得 出 码 字 中 未 知 删除 符号 的 
Rn 一 上 个 线性 方程 级 . 

(e) 利用 (pb) 中 提供 的 方法 ,对 (7,4) 祝 明码 (参见 前 庙 的 一 致 校 验 短 阵 H ) 的 下 列 接收 
码 字 进 行 译 码 :10?90?01,???0000,?0??01?。 该 接收 码 字 中 只 合 删 除 符 导 不 售 销 话 。 

WC OW F. 上 的 一 个 (n,&) 线 性 码 ,对 任意 YE WC9), 定 义 C -y= fx-y:xE C1。 根据 

(7.4), BR C-y ECHA., 证 明 当 且 仅 当 ¥YEC 时 ,5 - y= CC。 并 进一步 

LEAR : 

(a) 如 果 HEC 中 的 一 个 确定 码 字 , 则 与 x 的 汉 明 距离 等 于 i 的 码 宁 数 日 为 4 , A Æ 
Way i HETH. 

(b) 满足 汉 明 有 距离 d,(x.x’) = i BER xe AA gA 

Ë C NF, RMT (n, REM. REF F, PERRERA A POUR asa tea | C H! 

存在 惟一 的 码 字 HAL x; =e, = oy, PRP RT = li, i 7 Cll 2,0, n| 8 

C 的 一 个 信息 集 。[ 这 个 术语 的 定义 ,是 根据 码 字 中 的 位 置 ,i,,… ,i 可 以 用 于 携带 信 

息 , 即 信息 a= (ui oj 

(a) 证 朋 每 个 线性 码 至 少 具有 一 个 信息 集 。 

(b) UEFA HAVER i, i, 列 线 忻 独立 时 ,了 是 5 的 一 个 信息 集 。 

(co) 计算 本 章 中 的 码 ,6 A C, 具有 的 信息 集 数 于 、 

(dy 设 是 -个 二 进 制 线性 码 ,满足 集合 11,2,…, ni 的 任意 一 个 含有 个 元 素 的 子 集 
都 是 忆 的 信息 集 ,证 明 记 =0,1,n -1 或 n。( 注 意 :一 些 非 平 凡 、 非 生 进 制 码 也 具有 
此 性 质 , 例 如 9.6 节 将 要 介绍 的 Reed-Solomon #4- ) 

(4) 2517.13 所 引入 的 信息 集 概 念 ,可 用 于 设计 一 种 明显 不 合 于 伴随 式 译 码 的 线性 码 

译 码 算 法 。 这 种 算法 有 时 称 为 错误 跟踪 算法 或 者 多 重 译 码 算 法 ”。 假设 C 是 一 个 (mm 天) 

线性 码 ,我 们 希望 它 能 够 纠正 所 有 含 。 个 或 更 少 个 错误 的 图 案 。 设 L.L. T RC 的 

信息 集 , 并 具有 如 下 性 质 :对 于 任意 一 个 含有 e 个 元 泰 的 子 集 JC11,2,…,n| ,至 少 存在 

一 个 了 ,满足 LNT =P. 

(a) 假设 3 是 接收 到 的 码 字 , 它 包 含 <e 个 错误 。 对 于 任意 i=1,2,… ,7, 令 x = C PTE 
一 在 上 所 定义 的 位 置 上 与 ¥ 对 应 位 置 上 的 分 量 相 同 的 码 字 。 试 说 明 这 样 产 生 的 x, 
中 至 少 有 一 个 是 实际 发 送 的 三 字 。 

(b) 假设 d(C) 2e +1, 试 说 明 : 通 过 将 所 有 的 x; 依次 与 了 进行 比较 ,可 以 惟一 地 确 
ERIKS. 

(e) 将 这 种 方法 应 用 于 (7,4) 汉 明码 。 为 了 纠正 一 位 错误 ,最 少 需要 多 少 个 信息 集 ? 


- 
_ = ope er te de ey ge yp re a aar et i rr -— 
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7.15 假设 一 位 通信 工程 师 告 许 你 ,在 他 的 (二 进 制 ) 信 起 中 接收 到 码 长 为 ”的 码 字 ,并 且 已 经 


观察 到 错误 图 案 只 有 n + 1 种 (例如 mn=6 时 ,错误 图 案 只 可 能 为 000000,000001,000011， 
000111,001111,0Ltl,1l1l1)。 试 说 计 一 种 能 够 纠正 全 部 此 类 错误 图 案 ,并 具有 可 能 
的 最 天 编码 速率 的 (nm 如) 线性 柚 。 描 述 一 下 n = 了 时 所 构造 的 码 。 

7.16 设 是 一 个 (n, 上 ) 线 性 码 , 其 最 小 距离 为 dan Fe e= f, e HPHWATERABR. EM 
E=|z:wy(2z)<e},F = \2:w,(2)<flo AWER: UR e+ 了 < di , 则 根据 定理 7?.4,C E 
— E Uh FS. CERO PIB PA A ec MAR S 位 检 错 ” 
ËB.) 

7.17 尽管 二 进 制 汉 明码 非常 适合 于 纠正 单个 错误 ,但 是 当 信 道中 出 更 多 个 错误 时 , ETE SB 
就 会 天 打折 报 。 本 习题 将 分 析 这 个 问题 ,并 提供 改善 其 性 能 的 可 行 方法 。 

Ca) 试 说 明 当 信 道中 出 现 两 个 或 更 多 个 错误 时 , 汉 明 码 的 译 码 紫 总 是 产生 译 码 错误 。 

(h) 码 长 为 2" 的 扩展 汉 明 码 ,是 在 原来 汉 明 码 的 基础 上 附加 一 个 全 校 验 位 而 得 到 的 ; 
BB, enh 玉 为 诛 汉 明和 码 的 一 致 校 验 矩 阵 , 则 新 得 到 的 扩展 况 明 码 的 一 致 校 验 和 矩阵 
为 


l 1 J .. 1 


HEADER , BY HAS BORSA 2" - 1, ABA: 


i11 ... | 


计算 这 两 种 码 的 维 数 ,并 说 明 它 们 的 最 小 里 离 dg。 =4。 
(e) 说 明 扩 展 汉 明码 和 删除 汉 明 码 在 译 码 时 , 至少 能 够 纠正 单位 错误 ,检测 两 位 错误 ( 参 
见习 题 7.16) - 

7.18 n 维 重复 码 是 指 生 成 矩阵 为 C = [11…1] 的 (na ,1) 线 性 码 , 其 中 n 为 奇数 。 试 证 明 它 是 一 
种 完备 码 , 即 半径 为 (n - 1)/2 的 汉 明 球体 填 满 了 整个 VFS) H HEB] 3F 
RES. 

7.19 ASB a EE EO. ON EE, 上 的 一 个 m xn MER, E 
是 某 个 线性 碍 5 的 一 致 校 验 矩 阵 。 

(a) 试 证 明 当 且 仅 当 互 不 售 全 0 列 , 并 且 吾 中 各 列 之 间 没 有 情 数 关系 时 , 码 C 能 够 纠正 
单个 错误 。 

(b) 试 证 明 对 于 给 定 的 严 值 ,如 果 旦 具有 (a) 中 措 述 的 性 质 , 则 a= (2 - 1)/(q - 1 并 
月 这 个 界 是 严格 的 。 如 条 n = (所 -1)709 -1) ,该 码 就 称 为 q 进 制 汉 明 码 。 它 的 
n=(q"-I/(q-1),k4=n- mo 
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Cc) 构造 下 列 汉 明码 的 一 致 校 验 和 矩阵 : 


q A K 
pi 3 4 2 
3 13 10 

5 6 4 


7.20 本 习题 的 目的 是 研究 二 进 制 线性 码 在 高 斯 信道 (参见 4.1 节 ) 土 的 性 质 , 信 道 的 能 量 约束 
为 玉 ( 人 过 有 噪声 方差 为 ao?。 我 们 特别 希望 能 够 得 到 该 信道 的 一 个 类 似 于 答 惠 7.5 的 
结论 。 因 此 设 C 是 一 个 (n,%) 二 讲 制 线性 码 , 为 了 用 于 高 斯 信道 ,将 码 字 中 的 每 个 0" 分 
量 都 映射 为 +vB, 每 个 "1" 分 量 都 映射 为 -vB。 假设 发 送 的 码 字 为 w .x ,… Xa CE 
备 码 字 的 欧 几 里 得 长 度 为 wv n3), 每 个 码 字 的 发 送 概率 为 HM, M y AERAR.: 

(a) 最 小 错误 概率 译 码 准则 (参见 习题 2.13) 尾 选取 使 P I K S x; 1 接收 yi 最 大 的 码 字 x, 
作为 译 码 估 值 *。 证 明 这 等 价 于 选取 与 y 欧 几 里 得 距离 iiy - x, 1 最 小 的 x, 作为 x， 
也 同样 等 价 手 选 下 与 y OA x, -y 最 大 的 x, 作为 x。 

(b) 试 证 明 : 和 如果 存在 一 个 码 字 x, TRE x,-y> dyle An- dan) ,其 中 d... ABER 
et WW x 一 定 是 (a) 中 所 描述 的 最 大 似 然 译 码 器 的 输出 。( 此 结论 最 先 由 
L. D. Baumert 给 出 。) 

(e) 在 定理 7.5 的 证 明 中 ,假设 发 送 = (0,0,…,0) (调制 后 = (vB / B. 8)), F 
0, = P| 译 码 输出 为 x, | 发 送 xy |. WEH: Q. < Q(llx, -X120), 其 中 Ola) = 


j (Qn)! ef? dt, 


= g 


(d) 利用 习题 4.5 给 出 的 界 和 (ce) 的 结果 ,证 明 0, < y) ,其 中 y= e 2 w(x, RA x, 
的 汉 明 重量 。 
(e) 最 后 证 明 泽 码 占 的 错误 概率 满足 P aA) -LHP yae, 

我 们 在 7.3 节 中 看 到 ,当月 仅 当 以 各 个 码 字 为 中 心 ,e 为 半径 的 球体 互 不 相 诡 ,或 老 当 且 
IH H 的 任意 不 大 于 。 列 的 矢量 所 构成 的 子 集 线 性 无 关 时 ,该 码 能 够 纠正 所 有 不 超过 e 个 
错误 的 图 案 。 这 意味 着 码 的 纠 错 能 力 越 强 , 它 的 编码 速率 就 应 该 越 低 。 在 下 面 的 5 道 习题 中 ， 
将 推导 出 最 佳 码 的 一 些 d .与 上 之 间 关 系 的 界 。 为 了 简单 起 见 , 这 里 仅 考虑 二 进 制 线性 码 。 
对 干 给 定 的 n Md. S M {n,d) 表 示 一 个 码 长 为 n ANEA >d 的 线性 码 中 最 多 可 能 包含 的 
ER, 


7.21 (Gilbert-Varshamov 界 ) 证 明 ; M, (n, d)=2"[1+ (7) +… +( 31) 1。( 提 示 : 如 果 一 个 最 


佳 线性 码 所 包含 的 码 字 数 少 于 上 述 界 , 则 它 至 少 有 一 个 陪 集中 的 全 部 码 字 都 满足 重量 > do 
而 一 个 线性 码 与 它 的 一 个 陪 集 的 并 集 也 是 线性 码 。) 
7.22〈 汉 明 失 ?证 明 , 如 果 一 个 码 长 为 n 的 二 进 制 码 ,无 论 它 是 否 是 线性 码 ,都 能 够 纠正 e 个 


错误 , 则 它 至 多 包含 24[1+ (中 +…+( 2 个 码 字 。 
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7.23 (2% TERIA IAS T7222 中 的 界 。 
7.24 (Plotkin 界 } 设 映射 x, :05 an oe, BP CHAR BRIE WS i Poe. GE 
BA a x E (a kE PER 《中 的 任 一 码 字 ,方程 rtx) =0 有 2 或 2 个 解 。 利 用 这 
个 结论 ,证 明 : 
> ue) < n. 2h 


从 而 得 出 结论 d(C) an'2' -I)o 
7.25 (SE) GF ne2d -2, EIB C Halla -24+2 位 全 为 0 的 码 字 , 并 去 掉 这 些 全 0 位 ,得 
到 一 种 新 码 C,。 利 用 习题 7.24 的 结论 ,证明 对 码 C, 有 下 列 不 等 式 成 立 : 
M (n. d) 3279 g 


7.26 本 题 的 结论 { 由 Van de Meeberg 给 出 ) 将 说 明 在 二 进 制 对 称 信道 中 如 何 强化 定理 7.5。 
(a) 证 明 : 如 果 di (xx, SEAR, ACT IDA WB Q, = Yee. [ERE 
题 0.2 中 已 经 证 明 , 码 长 为 2n 的 重复 码 的 错误 概率 与 码 长 为 2n -1 RHR: | 


(b) 由 此 证 明定 理 7.5 I EON Pec [+ 7)4(7)+(1-7)4(-7)]-1。 
(e) 将 (b) 中 得 到 的 界 应 用 于 本 章 中 的 码 C, ,并 与 例 7.6 的 结果 进行 比较 。 


下 面 的 两 道 习 题 将 推广 定理 7.6, 即 MacWilliams 恒等式 。 习 题 7.27 将 完善 定理 7.6 在 
5 尖 2 时 的 证 明 、 习题 7.28 是 针对 非 线 性 码 的 。 


7.27 对 于 任意 q 值 ,证 明定 理 7.6。[ 提 示 : 将 < x,y> 的 定义 [ 见 式 (7.16)] 敌 适当 的 推广 ,前 
文中 给 出 的 证 明 就 能 重新 适用 。 为 此 ,定义 <X,y> =A <x'y> ,这 里 4 是 将 F, 的 加 群 
映射 为 np 阶 复 数 本 原 根 的 任意 非 平 凡 同 态 映 射 , 其 中 9 = p ,而 p 为 素数 。] 

7.28 证 明 非 线性 MacWilliams 恒等式 :如果 C= 1%,…,xyw| 是 V. (F. BIT PRE A, = 
Mo's C H BBB dy (xx) = i BU KE XI (xx OMA), REM B, WE PH 


公式: 
1 H H 
— _ I _ ah -一 yd 
7 > AA = z¥[1 + (g — 1)2] > B;z 


则 对 于 所 有 的 j, 均 有 B.>0 成 立 。( 一 般 而 言 ,局 显然 没有 自然 组 合 特性 。) 
7.29 本 习题 的 日 的 是 计算 一 般 汉 明 码 的 重量 枚 举 多 项 式 。 
(a) 证 明 对 于 码 长 为 n=2" - 1 的 二 进 制 汉 明码 ,其 对 偶 码 中 任意 非 0 码 字 的 重量 均 
AP, 
(b) 由 此 证 明 二 进 制 汉 明 码 的 


A(z) = [1 + 2)" + nl — 2)07 C1 十 到 


Co) 将 此 结论 推广 到 非 二 进 制 汉 明码 (参见 习题 7.19)。 

7.30 在 本 习题 中 ,我 们 将 定义 并 研究 重要 的 Reed-Muller W, $ P(m,d) Rm F, LAA m 
ARE Bad MEM REE. HOO ,V1) (其 中 M = 2" ) 表 示 按 一 定 次 序 
排列 的 全 部 2" 个 二 进 制 和 撩 量 (x), x，…, tno 对 于 任意 ff€ P(m, d) JAW ARE /> 
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(flv) SOW. fey) eB — T R E 2” WR. 按照 这 种 方法 ,利用 
Pim DPE A ARAARA E GR E a 2” 的 d Br Reed-Muller 43, 用 
RM‘ m, ODER, 


(a) 试 证 明 RM(m, 4) 是 一 个 二 进 制 (n,k) 线 性 码 ,其 中 =2",k=1+ [m] aa 
(a) 

(b) 斌 证明 RM(m,d) ape 2°" 。( 提 示 :为 证 明 d u 22" a f= fle eee 
x, JE Pom, d) FPR FO, 22,0, 0 A fl, 22,70, w. Pa P(m - 1, dd BJ Bik 
Fea) 

(e) 证 明 RM m, d) =RM(m,m-d-1). 

(d) 证明 RM( m, m -2) 就 是 习题 7.17b PST LAR RS 

(e) MFCR m, 5 d=0,1,m-2,m-1,m RI, HA RM m, MBER SHI. 

(缩短 线性 码 } 设 C 是 一 个 (n, 上 ) 线 性 码 , 其 一 致 校 验 矩 阵 具有 H= Bi,., JE A HP B 

是 一 个 (na 一 上 x k SYR, 1, den - k) xin- ORERE. WE 1 ck,B, 

SEE BRAT: 列 删 去 后 得 到 的 (n - k)x (k - ORME. SUR C, 的 一 致 校 验 

come Ag H = [8,1 _, | 的 形式 , 则 称 码 C EH G 的 缩短 码 ( 也 见习 题 7.25). 

(a) 试 让 明 , 选 出 码 C 中 前 上 位 全 部 为 0 的 所 有 码 字 并 删除 这 些 全 0 位 ,就 得 到 码 C, o 

(b) 试 证 明码 C 是 一 个 (n - t, k- DREI., 

(e) 证 明 d,,.(C,)2d,,(C)- 

7.32 ( 纠 突 发 错误 的 交织 码 } 一 个 长 度 为 n 的 二 进 制 错误 图 案 z, 如 果 它 的 “1” 分量 集 中 在 连 
续 5 位 内 , 则 称 它 是 一 个 长 度 为 的 突 发 ,例如 z= (00-…00100101100…00) 是 一 个 长 度 
Hbl(bs TD MRR. Bible, We 2 PH 分量 集中 在 e 个 这 样 的 突 发 中 , 则 称 z 是 一 
个 长 度 为 5 的 e 重 罕 发 。 例 如 ,可 以 认为 上 面 的 z 是 一 个 长 度 为 4 的 2 重 罕 发 。 
现在 设 是 一 个 (ma 有 二 进 制 线性 码 C B) m x n MORE. EMI C B) b FE 
op th fk — (nb, kb), FA CU 表示 ,其 mb x nb WY 3848352 B A: 


=k. 


7.3 


ČI C CH 

其 中 [e 和 …e,] 是 已 的 各 列 ,而 空 卢 处 的 元 素 为 "0 。 

(a) 说 明码 0 的 每 个 码 字 ,都 是 由 码 C 的 8 个 码 字 “交织 "排列 而 成 的 。 

(h) 假设 原来 的 码 C 能 纠正 所 有 重量 <e 的 错误 图 案 ,并 能 恰 测 所 有 重量 生 了 的 钳 话 图 
案 ( 参 照 习 题 7.16)。 试 证 明 , 码 CC BEZH EFT S EREN b 的 e 重 突 发 错 话 图 案 , 检 
测 所 有 长 度 为 上 8 的 f 重 突 发 错误 图 案 。 

(e) 构造 下 列 码 的 一 铬 校 验 矩 阵 : (i) 一 个 (21,12) 码 , 它 能 够 纠正 所 有 长 度 为 3 ETS 
发 错误 图 案 ;fi 让 一 个 (25,20) 码 , 它 能 够 检测 出 所 有 长 度 为 5 的 罕 发 错误 图 案 。 针 
对 以 上 两 种 码 , 设 计 出 有 效 的 译 码 方法 。 





J | k Rabe | ‘GRAN i Ë š 
met, PP CR DEE: . 
ai Bat ype 7. shi 


`í 
= 一 一 -au — '— --— - 


7 "` B "` "` 
Deya ih Beg pec hk resa Pee ee rr. 





注释 


[9] 
[101 


[11] 
[12] 


[13 j 


第 ?7 章 线 性 a 127 





我 们 将 不 再 讨论 香农 理论 ;而 致力 于 寻找 一 些 香 农 编码 定理 已 经 预测 存在 的 , 却 没 
有 明确 给 出 的 三。 

更 精确 地 ,应 该 称 做 线性 分 组 码 , 以 区 别 于 第 10 章 将 要 介绍 的 线性 卷 积 码 。 
因为 这 要 求 q 必须 是 素数 的 方 算 ,所 以 不 能 考虑 含有 6,10,12.14.… 个 元 素 的 输 人 
下 面 的 讨论 假定 读者 已 经 具备 某 些 线 性 代数 的 基础 知识 。 这 些 知识 可 以 参阅 Birk- 
hoff 和 MacLane[ 3] Hy 7B, 

通常 允许 一 个 RRE 种 阵 的 某 些 行 全 为 0, 以 便 和 邱 阵 在 变换 为 它 的 RRE 形式 时 行 数 
不 改变 。 介 是 这 里 息 设 ,在 变换 过 程 中 如 果 出 现 了 全 0 行 , 就 将 这 些 全 0 行 删除 。 
这 个 名 称 的 由 来 ,是 根据 在 二 进 制 情况 下 ,一 致 校 验 说 明 每 个 码 字 在 相同 位 置 的 确 
定子 集 内 有 偶数 个 lo 

此 处 和 其 他 各 处 的 了 均 表 示 转 置 运 算 。 

这 个 变换 {从 四 到 站) 的 简化 当然 决 非 偶然 ;FRRE 短 阵 就 是 为 此 而 设计 的 。 例 如 ,为 
求解 G, 表示 的 齐 次 线性 方程 组 : 


ytti = Ü) 
ky + Xa = (J) 
Ky + xz + Xx3 + Xa + XS = Ü 


第 一 步 就 是 将 5 改写 成 RRE 形式 ;方程 组 变 为 ， 
XI + X> + xs = Ü 
xy + x; = Ü 
X, + x< = Ü 


此 时 显然 能 够 看 出 ,可 以 独立 选取 x; 和 xs, lD x = x> + Xs, Xy Š Xs, X, = Xs, MAL 
ae , 原 方 程 组 的 每 个 解 均 是 下 面 乱 阵 中 各 行 的 一 个 线性 组 合 : 
1100900 

Ë 0 1 1 j 
uk E AR EP bB fr šq RE H,. 
参见 引言 的 注释 5. 
WERTHER F. 的 乘法 结构 , 面 仅 仅 将 它 看 成 含有 q 个 元 束 的 加 法 群 , 则 三 
C RHR F, x … x F, 的 一 个 子 群 , 式 (7.4) 定 义 的 子 集 C+ x, 是 这 个 子 群 的 一 个 
陪 集 。 因 此 ,你 可 能 会 发 现 线性 码 有 时 也 被 称 牧 " 群 码 ”。 
通常 不 认为 严 =1,2 时 的 码 是 汉 明 码 ,因为 它们 过 于 简单 。 
G.Solomon 提出 的 这 个 概念 是 基于 以 下 事实 。 如 果 了 是 的 一 个 信息 集 , 令 m = 
(m mm ) 为 了 的 指示 向 量 , 即 ,如 果 icy Wl m, = 1 ,省 则 m, =0, Wy Eik 
KEF, 如果 信 息 集 中 没有 出 现 错误 , 则 可 以 用 my ÆA y OER Rh x. 
这 样 命名 是 因为 奇数 重量 的 码 字 已 经 从 C 中 删除 了 。 





在 第 7 章 的 开始 , 曾 强 调 要 将 注意 力 集中 于 线性 码 (而 不 是 任意 无 结 梅 的 码 ) ,我 们 和 希望 能 
够 找到 一 些 易于 应 用 的 好 码 。 显 然 一 个 “小 型 "线性 码 ( 比 如 维 数 或 元 余 不 超过 20) 通 过 硬件 
实现 没有 窗 大 困难 { 例 如 ,通过 伴随 式 译 码 )。 但 是 ,为 了 达到 香农 定理 所 述 的 性 能 ,必须 采用 
更 大 规模 的 码 ,而 一 般 来 进 , 大 型 码 很 难 实现 ,即使 它 是 线性 的 。 正 是 由 于 这 个 原因 ,几乎 所 有 
实际 中 应 用 的 分 组 人 友 都 是 篇 环 码 ; 循 环 码 形成 了 线性 码 集 合 中 一 个 非常 小 旦 高 度 结构 化 的 子 
集 。 在 本 章 中 ,我 们 将 对 循环 码 做 一 个 全 面 的 介绍 ,讨论 范围 不 仪 包括 基础 数学 理论 (8.1 节 )， 
还 包括 用 于 实现 循环 码 的 基本 电路 (8.2 节 )}。 在 8.3 凶 中 将 看 到 , 汉 骨 码 可 以 作为 循环 码 来 
实现 。 而 在 8.4 节 和 8.5 节 将 说 明 如 何 利 用 循环 码 来 纠正 突 发 错误 。 我 们 的 介绍 将 延续 到 
第 9 章 , 在 第 9 音 中 将 研究 目前 所 发 现 的 循环 码 中 的 最 重要 家 旋 ;BCH/Reed-Solomon #4. 

现在 ,首先 从 看 起 来 很 随意 的 循环 码 定 义 开始 。 


EM SPR F Ešüj— Pn ARES RAT BE CHC. C,_ OBB 

At, BPC =(C€,.,,€),°°, 6,32), BA PSS  BCRRR PARA, 

后 面 将 会 看 到 ,有 许多 不 同类 型 的 循环 码 ,但 是 与 线性 码 比 起 来 ,它们 所 点 的 比例 却 非常 
小 。 例 如 ,在 GF(2) E 8 11811 个 (7,3) 线 性 码 , 但 其 中 只 有 两 个 是 循环 的 ! 

例 8.1 如 果 玉 是 任意 域 ,nn 是 一 个 二 3 的 整数 ,那么 域 上 总 是 至 少 和 三 在 4 个 长 度 为 nn 的 答 
环 码 ,通常 称 之 为 二 小 最 简单 揪 环 码 : 

e — tin, OB Ra p E Sbi HAT EAS. 

e 一 个 [1 古 , 所 有 码 字 的 形式 都 是 (aa…,a), 其 中 wE F, RAELA, 

@ — Aln, n-1)B, DEKE >] C =0 的 全 部 矢量 ( Co， Ci o Gub RAŽBA 

By 

© 一 个 (n,n) 码 ,和 包含 所 有 长 度 为 n 的 夫 量 , 称 为 无 奇偶 码 。 

SHE n 和 值 ,全 8.1 中 所 摘 述 的 最 简单 镍 环 码 是 域 上 仅 有 的 码 长 为 n 的 循环 码 
[例如 ,n= 19, F = 6 人 2)]。 然 而 ,下 如 下 面 两 个 例题 所 撒 述 的 ,经 常 存在 一 些 其 他 的 更 有 意 
党 的 箱 环 码 。 

例 8.2 考虑 GE(21 上 的 一 个 (9.3) 线 性 码 , 其 生成 纸 阵 为 ; 

101110 0 

0 1 0 1 1 1 O 
! 1 


0 0 1 O 1! 





这 个 码 有 8 昌 个 码 字 。 如 果 以 CC áe C, RE GG 的 行 ,那么 非 零 码 字 为 : 


PRIE M RA 129 





C, = 1011160 
C = 0101110 
C; = 0010111 


C,+Cs = 1110010 
C i+Cs = 1001011 
C+C; = 0111001 
Ci + C+C = 1100101 
zA kE AAG, AER — 5. A ERA As 25 SF 05) 25 j 3835 ERASE 


也 是 一 个 码 字 。 例 如 ,OC 的 右 循 环 移 位 是 C, BHR LEI RTM: 
Cc, — C; 


C; — C; 
C; — C, +C, 
Ci + C; — C; + G; 
Ci + Cs — C; + Co + G; 
C, +C, — C] 
Ci + C, + Cs — C + C; 


8.3 FA (5 人 9) 上 的 一 个 (4,2] 线 性 码 , 其 生成 矩阵 为 : 


_[t 0 2 0 
o=|1 ?22 


PMA OPES, WRC CARR GMT, PASTS, 


Ci = 1020 
2C, = 2010 
C; = 1122 
C, + C; = 2112 
2C; + C; = 0102 
2C, = 2211 
Ci + 2C; = 0201 


2C, + 2C> = 1221 
ik 4 aha, 2 RAL, lo, C, MBBS 2C + CG, FAREA eT.: 
C, = 2C +C; 
2C, — C, + 2C; 
C — C, + G; 
Ci +C 一 20， 
2C + C; 一 20C| 
IC, 一 2C, + 2C, 
C, + 2C; — C] 
2C, + 2C; — C} 
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循 坏 码 的 年 多 表面 上 看 起 来 很 随意 ,但 实际 上 这 样 做 的 理由 很 充分 ,特别 是 在 我 们 引信 码 
字 的 生成 函数 这 个 概念 以 后 。 如果 C= (Co CG ETEF, HB Z kB ARBRE 
LAEM: 
C(x) = Co + Cix +- + Caix 
其 中 x 是 一 个 未 知 数 。 生成 函数 的 作用 在 于 ,还 过 利用 它 ,可 以 给 出 码 字 右 循环 移 位 的 一 个 
简单 代数 描述 。 为 了 给 出 这 一 描述 ,需要 定义 整数 和 多 项 式 运算 的 一 个 重要 的 “mod" 算 符 : 。 


EM wë pm 是 整数 且 六 >0, 则 "p mod m 表示 bp 除 以 m 得 到 的 余数 ,因此 p mod m 
等 于 一 个 能 使 p - r ik m ERE Og rr 过 三 - 工 的 整数 r。 类 似 地 ,如 果 P(x) 和 Ma) 
项 式 , 则 P(x)mod MDAT Plx) 除 以 (x) 的 余 式 ;因此 P(x)mod 村 (x) 等 于 惟一 能 
使 P(x) 一 R(x) 被 M(x) SER, E. deg R(x) < deg M(x) SAMAK R(x). 


fl 8.4 这 里 有 一 些 例 子 。 
7mod5 = 2 
—6mod4 = 2 
4mod6 = 4 
21 mod 7 = Ü 
x° mod x° = 0 
x* mod x° = x° 
xi mod (x° + x + 1) = x 
(5x7 + Dmod(2 d 1) = —4 (在 实数 域 上 ) 
(x + 1) mod(x? + 1) = 0 ( Æ GF(2) 1) 


ximod(x"” — 1) = x! med n 
下 面 的 引 理 列 出 了 多 项 式 mod BR HRB SEM 


引 理 1 

(a) 如 果 deg P( x) < deg Mx), 8) P(x) mod M(x) = P(x). 

(b) 如 果 M(x)JI P(x), i] PCx)mod M(x) =0. 

(e) (Pla) + OCs) )mod M(x) = P(x)mod M(x} + Q(x) mod M(x). 

(d) (P(x) Q(x) )mod M(x} = (P(x)(Q(xz)mod M(x)))mod M(x) 0 

(e) 如 果 MCx) INC), CPC) mod N(x) )imod M(x) = P(x)mod M(x). 

TEAR : th RA il £ a A S 5. 

现在 可 以 介绍 有 循环 移 位 操作 的 代数 描述 了 。 

定理 8.1 wR C=(0,,C,.°°,C,_ EOP EF FER BRA C(x) = G, + Ox +: + 

Cot! We ME 3545. CR 65 k BRO U) TATEA E; 
C®(x) = xC(x) mod (x" — 1) 

证 明 : 因 为 C(x)= C+Cxt tC, 所 以 有 
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xC(x) = Cox +- + C, x" 1 + C, x" 
CR (x) = Cy 1 + Cox coo + Cy yx" 
因此 xO (x) - C8 (x)= C(x -1). AA deg C¥( x) < degl x" -1),B Cix) - C(x) 是 
x 一 ] 的 倍数 ,所 以 根据 me 运算 的 定 浆 可 以 得 出 结论 . 
三 字 的 生成 函数 非常 重要 WRITERS PFS ER ERR, Alt JE 
式 上 可 以 将 一 个 (n ,上 ) 线 性 码 看 成 是 一 个 次 数 不 赵 过 n -1 的 多 项 式 集 全, 码 中 骆 项 式 的 什 意 
线性 组 合 还 在 码 中 。 从 这 个 观点 来 看 ,根据 定理 8,1 ,循环 码 是 一 类 线性 码 , 如 果 C(x) 是 一 个 
码 字 ,那么 *C(x)modlx" - 1) 也是。 通过 反复 应 用 右 匆 下 和 殉 位 ,我 们 发 现 对 于 所 有 i=0， 
x C(x )mod(«* — 1) 也 是 一 个 码 字 ( 见 刁 题 8.6)。 下 面 的 定理 是 这 个 观察 纺 订 的 一 个 推广 。 为 
方便 起 见 , 引 和 人 符号: 
[PUx)]s 
作为 P(x)mod( x" — DRH S -o 
定理 8.2 te RCH—4(n, k ME, FAIR C(x) 是 C 中 的 一 个 码 字 ,那么 对 任意 多 
项 式 P(x),[ P(x)C(r)], 也 是 忆 中 的 一 个 硒 宇 。 
证 明 ; 设 P(x)=2io Px。 则 框 据 引 理 ](c)， 


[P(x)C(x)|,, = [g we) ce 
I=Ü h 


一 s~ Pix’ COO |a 


i= 
JBE Ak Ca ow PE ¿[x C(x)], 是 一 个 码 字 ,又 因为 码 本 向 是 线性 
的 ,所 以 线性 组 合 》P [v C(x)], HEP OFS. 


例 8.5 者 虚 例 8.2 中 的 (7,3) 循 环 码 。 码 字 忆 + 忆 的 多 项 式 汐 ]+x +e + x 根据 定理 8.2， 
如 果 我 们 将 这 个 多 项 式 乘 以 其 他 任意 多 项 式 ,然后 将 结果 mod( x' - 1) 降低 次 数 , 则 所 得 的 多 
A EAP Ble, 
[1 + x] + X° + x° + xŠ)); — Y + X” + x° + x° 
= C 
(tx q x) + x3 + x + xŠ) = 1+ x+ x + xŠ 
= C, +C + Gs 
[1 ax? + xO + x?) + x+ x°) = 0 
下 面 引 入 的 生成 多 项 式 是 说 计 和 分 机 循环 码 的 关键 。 
定义 ”如 果 C 是 一 个 循环 码 , 那 么 CC 中 的 一 个 最 低 次 非 零 多 项 式 被 称 为 它 的 一 个 生成 多 项 
式 。 通 常用 等 号 g(x) 表 示 生 成 多 项 式 。 


例 8.6 在 例 8.2 的 码 中 , 码 字 Ci 所 对 应 的 多 项 式 ,是 所 有 非 零 码 字 多 项 式 中 次 数 芭 低 的 , 因 
W g(x)=l+ x + x) ts’ 是 该 码 的 生成 多 项 式 。 而 例 8,3 中 的 码 , 有 两 个 最 低 次 数 的 多 项 式 ， 
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EP C = 20° +1 和 2C, = x° +2。 下面 引 理 的 第 一 部 分 说 明 , 循 环 码 的 生成 多 项 起 在 来 以 一 个 
标量 以 后 总 是 等 价 和 的。 因此 我 们 所 指 的 和 禧 环 码 生成 多 项 式 , 是 一 个 首 项 系数 为 1 的 多 项 式 。 
对 于 例 8.3 中 的 码 , 通 党 可 以 说 g(x】 = x° +2 是 它 的 生成 多 项 式 。 

引 理 2 ECAP, AAEM SRA g(x)。 

(a) 如 果 pg'{x) 是 另 一 个 生成 多 项 式 , 则 存在 茶 个 非 零 元 素 2 下 ,使 (a) = Ag(%)。 

(b) 如 果 P(x) 是 一 个 多 项 式 , 而 [ P(x)], 是 一 个 码 字 , 则 g(x) 能 整除 P(x), 


证 阴 ; 为 证 明 (a), 设 g(x)=gx tet gog (x)= gx to + ga E g, #0, g, Ü, ik AF 
ko À = er Iz WIRA g(x) = g(x) -Age O RAET r LAC F., Ër BAC 
oe gk 38 oF ay a 68 RR, A "(x)= 0, FP gp’ (x) =Agl«). 
为 证 明 (b), 令 OCx) Fe R(x) 分 别 是 P(x) 除 以 ola) BAAR N P, 

P(x) = G(x) g(x} + R(x) (8.1) 
其 中 deg R < deg g. 将 这 些 多 项 式 都 mod ( x" 一 1) 降 低 次 数 , 并 利用 条 件 deg R < deg g = 
n -1[ 因 为 g(x) 是 一 个 码 字 ,所 以 后 面 的 不 等 式 成 立 ] ,我 们 得 到 : 

R(x) = [P(x)], — (CO) EO), 
根据 假设 ,[ P(x)], 是 一 个 码 字 ,而 根据 定理 8.2,[O(x)g(x)], 也 是 一 个 码 守 。 又 因为 
码 是 线性 的 ,所 以 R(x) 也 应 该 是 一 个 码 字 。 但 是 deg R < deg g, 且 g(x) 是 最 人 惰 次 的 非 零 
mF PVA R(x) =0, 式 (8,1) 变 为 ; 
P(x) = Ox) a(x) 

这 就 证 明了 g(x) 能 够 整除 P(x)。 


现存 我 们 可 以 阐述 并 证 明 循环 码 的 主要 定理 。 它 建立 了 一 个 码 长 为 n 的 循环 码 写 x* -1 
的 首 项 系数 为 1 的 因 式 之 间 的 一 一 对 应 关系 。 

定理 8.3 

(a) 如 果 C 是 下 上 的 一 个 (n, 上 循环 码 , 则 它 的 生成 多 项 式 是 x' - 1 69 — +" É] <. m RE 
C= (Cy, Ct Cy PRS, BAS EE E K hk C(x)= Cyt G x tot 
Cox" PER oC a), RA k RORC hy AK, M k= n -deg glx)o 

(b) 反之 ,如 果 g(x) 是 r-l AAAA MARA ole) A ERASTA, L kn- 
deg g(x) 85 (n, bMS, A PERE Cy Cy Co) ER BRA 8 BR 
a(x) FR 

证 明 [a) :首先 ,在 引 理 bd PS Plx) ax’ -1,, P(*)], =0,% GR — a, PA 

g(x) 能 够 整除 x* -1。 其 次 ,根据 定理 8.2 ,任意 长 度 为 n、 生 成 函数 是 ole ANKE 

都 是 -一 个 码 字 。 祖 反 ,如 果 C(x)= G + Craton + Co A 是 一 个 码 字 , 则 [COxz)]。 = 

C(x) ARE 71 BE 2, g(x) 能 够 整除 C (x). 最 后 ,因为 C(x)= C, + C Ix +" + Ce 是 

g(x) 倍 式 的 充分 必要 条 性 为 C(x)= gla) I(x), FF deg lan — 1 - deg a AARET 

g ( x ) KEW 25 TË o 

WEAA(b) E g{x) 是 x" 一 1 的 一 个 因 式 。 则 C(x)= G, + Cix +" + C _yx ”为 g(x) 倍 

式 的 充分 必要 条 人 忻 有 是 C(x) = g(a) x) EF deg g + deg Jgn- lo 因此 所 有 这 些 码 字 





一 - ts 
Jae- - -1 1 xx ee ee a 一 一 下 一 -PH 一 -一 -一 — E `. =. 一 ' a 


- - - - - 
- — u - xL. — e -一 一 一 .4 一 mr x= 


= ate + rr 


` 一 `‘ ` 
Lurk ete- te uae h mhn te í a a 


- ` - - 
iri ed et ZL ias Th 


有 nr rae ak, — = a pa Q rT 





£ S JN BR A 133 





的 集合 是 一 个 (nn, 上 由) 线性 码 , 其 中 上 = n- deg g。 为 了 证 明 这 个 码 是 循环 的 ,必须 证 明 性 
EAA Sp i) RR AS LIER RA. AILS Ma) g(x) 是 任意 码 宇 ;根据 定理 8.1, 它 的 
RARE AL xj(x)etx)],。 但 是 因为 g(x) 能 够 整除 x" -1, 所 以 有 : 
[eaer] mod g(x) = [xri(x)g(x)) mod g(x) [344] Œ He)] 
=O = [ #8464] l(b) 
这 就 证 明了 [xi(x)elx)], Bele) MEA, E] ke i 8538 TEP, 


定理 8.3 说 明了 循环 个 生成 多 项 式 的 重要 性 。 一 个 与 其 关系 密切 , 且 辣 样 重要 的 多 项 式 


是 循环 码 的 一 致 校 验 多 项 式 , 它 表示 为 h(x) ,定义 为 : 


x" -- | 

B(x) 

定理 8.3 的 下 述 推论 给 出 了 循环 码 g(x) 和 kO ERE eR SRE, 

推论 1 如 果 C 是 一 个 (n, 上 循环 码 , 具 有 生成 多 项 式 g(x)= go tgar etga (JÉ FP r = 
n-k) AARRE SAA h(x)= h, + h x + the , 则 下 面 的 两 个 适 阵 就 是 CC 的 生 
Be, SES Fo — $£ BERS AP IF ; 


h(x) = 


Bo Boe wee By Ü wee +. Ü g(x) 
Ü go 2... .-. £ Ü ... 0 reix) 
G| = , , -一 . 
0 ... «2. Ü go By --- ... BF xl g(x) 
Ay Akai oo... we) Ag Ü ... ee Ü h(x) 
Ü hy hii ... o hig Ü ，- ， Ü x h(x) 
H = |. . | = | 
Ü ... wae Ü hr fp. +. + ne hig x" hee 


Re h(x)= h thy + tgs’ Bh wR" SAR, WH be KOR Ilh hor, 
L. ORAA CIGURO. D], MER BRO et hate + ha 与 C(x)= 
Ca + Cate + C. ix 之 间 的 关系 为 ， 

Cix) = Ix) gx) 
WEAR HRN, G GA iTA < e(x),i=0,1, k- ls mifa g 8.2. k k i 9 3 
在 码 C 中 ,并 且 因 为 每 行 都 有 不 同 的 次 数 , 所 以 它们 是 线性 无 关 的 。 又 因为 码 [C 是 天 维 的 ， 
所 以 站 是 码 C 的 一 个 生成 纸 阵 。 此 外 ,和 关 量 TI 具有 年 成 函数 gtx)+ hagla) + + 
haigla) = Ma) elo) BP = yh hi) 
为 了 证 明 H. RACHA IEEE G, BTS H, 第 三 行 的 内 积 是 乘积 g(x h(a) 
Py ab Ra m gloha) 一 1, 因 此 当 指 数 上 -i+j y E BAK NLG i= k-1 
且 j=0 时 ) 和 到 nn-1( 当 j=0 且 j=r--1 时 ) 变 化 时 ,这 些 内 积 都 等 于 0。 可 见 HI 的 每 一 
列 都 在 码 C 的 零 空间 内 ; 叉 因 为 码 C 的 二 空间 是 维 的 ,而 H, 有 了 个 线性 无 头 的 行 , 所 以 
H, 确实 是 码 C 的 一 个 一 至 禄 验 赵 阵 。 
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推论 1 介绍 的 矩阵 有 时 很 有 用 ,但 是 更 常用 到 的 是 下 面 推论 2 中 的 “系统 " 卸 阵 。 
推论 2 念 C 是 一 个 (mn 下 循环 码 , 具 有 生成 多 项 式 g(x)。 对 上 =0,1,…, 上 一 1， 令 G3, 是 
KAn BAKE, CHER BRA G, (a) = x 一 x mod glx), M| kx n SE: 

G29 

Ga, 

G2 = 
Gia 
AGC WH — Aa RSE, Ris wR, ,是 长 度 为 上 的 秋 量 , 它 的 生成 邓 数 是 H, (x) = 
x mod g(x). M) rx n SER: 
Hy = [H3o, Hy), °°, Aaya] 


ACH- RHE SP eft A i= (L.l. F. A C = IG, Dem 
He I(x) 与 CCX) 的 关系 为 : 
C(x) = x" IO) — [x" Hx] mod gix} 
HA p3R&K3R=(R.R OR, ) 的 伴随 式 计算 公式 为 = H,R',W| + X b 3k R(x) 
与 S(x)69 £ # 29: 
S(x) = Rix) mod gix} 
WEAR: 因为 根据 引 理 1 的 (c) 和 (a) 部 分 ， 
[x?t? — x" mod gix} mod g(x) = x "+ mod g(x) — x" t mod g(x) 
= Ü 
可 见 ,的 第 让 行 是 g(x) 的 一 个 信 式 ,因此 也 是 码 C 的 一 个 码 宇 。 国 为 G, 有 下 个 线性 无 
关 的 行 (的 最 后 天 列 形成 一 个 大 x 开 阶 单位 矩阵 ) ,并且 每 行 都 是 一 个 码 字 ,所 以 G, Æ 
码 C 的 一 个 生成 矩阵 。 此 外 ,矢量 IC RA ER BH hix -x mod g(x)) + hi" - 
xt’ mod gx) tt hw wl mod gfx) = I(x) - [= 1(x)]mod g( x), 其 
中 | SG a 
为 证 明 有 关 H, 的 结论 ,首先 注意 H, 的 秩 为 r{ 它 的 前 r+ 列 形成 一 个 rxr PE), 此 
gh te BR R= (R. Rt R ) 是 一 个 接收 码 字 , 则 mR 是 一 个 rx1 BHR, CRA 
k K BART o R,(2 mod g(x)) = (37726 Ra?) mod g(x) = R(z)mod g(x)。 如 果 R(x) 
是 一 个 码 字 ,那么 根据 定理 8.3(a), R(x) mod g(x) =0, 所 以 BR = 0 SEES ABM 
立 。 从 而 证 明了 H, # C 的 一 个 一 笃 校 验 焉 阵 。 另 一 方面 ,如 果 刁 是 任意 接收 夫 量 ,那么 
CME H, 的 伴随 式 为 8= HR’. ERAN TAA, CHAAR DR S(x)= R(x) 
mod g(x), 人 命题 得 证 。 
IK HD Pe ATR RE H AMA ,形式 非 常 简单 ,通常 称 它 为 矢量 及 对 应 循环 
码 生 成 多 项 式 ghk tA. 

例 8.7 在 例 8.6 中 我 们 看 到 , 例 8.2 中 (7,3) 循 环 码 的 生成 多 项 式 为 g(x)=x + +x + lo 

则 相应 的 一 埃 校 验 多 项 式 有 hx)= (iT terete + l1)= x + 十 1。 作 为 g(x) 售 


ai ] 9 L bzw cop AOO g; - 


= = 
= - 
lir asar, =; =m hraa r" 一 r= = k = 


Pa TEET pit =k ee ay T ee rus 


' : 
“blero, tet. ae EE ae ee i, i a rba a iy 
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A 8 As BE, oy B® 
Co = 0.- gfx) 
= 1- g(x) 
C; = x- gix) 
C3 = x° - g(x) 
C4 = (] + x): g(x) 
Cs = (1 + x°) ` g(x) 
= (x +x?) - g(x) 
C; = (1 + x + x°) - g(x) 


推论 1 vP PH 3 69 AAR fe ARBRE: 





l 0 1 1 1 O 0 a(x) 
G=|0 101 1 : 0|= xg) 
0010111 x7 g(x) 
1101 0 0 O A(x) 
y O 1 10 10 0] | xix 
 |90 1 £ O 1 Of | x24Q) 
6001101 A(x) 


| 060 1 1 1 0 0 xt — xt mod g(x) 

G; = il 1 1 0 0 1 0| = x° — x° mod g(x) 
O11100 1 xÉ — x° mod g(x) 
l 0 0 0 1 1 0 
0 1 00 0 1 1 

H = 
0 010 1 1 1 
0 00 1 1 9 1 

= [1, x, x’, x°, x’ mod g, x` mod g, x° mod g] 


注意 G Ej 6)3x3 MBER WAH, E| 4x 4 PPR, 3248 fiik 2 kE SE sÇ 
为 “系统 的 "”。- 如 果 和 希望 得 到 定理 了 .] 所 描述 的 GG= [L Alf H=[- AL, BARGER 
第 阵 和 一 致 掖 验 垂 阵 ,就 可 以 利用 码 的 循环 特性 , 特 G. 的 行 社 环 右 移 3 个 位 置 , 并 将 H, 
的 行 循环 去 稀 3 小 位 置 ,由 此 得 到 ， 





1 0 O 1 | 1 
G,= 10 10 1 1 0 
0 0 1 011 1 1 
1190100 0 
0 1 I! Ot: O O 
m=), 1 10 01 0 
l 0 1 0 0 0 1 


Be 
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AER EPMA ea Ml ee 4x tlr t + x° = [100101], 而 如 果 利 用 G,A 
he ete x?) — Lat ta moda tx q 2 q 1)= x" q t + x +1= [1100101], KER= 
[1010011] È H, 的 伴随 式 为 [1101]。 (习题 8.10 介绍 了 一 种 完成 这 个 计算 的 有 效 方法 ,) 而 
和 如果 利用 H. DAM PROM A A R(x)mod g(a) = (14+ x° + x` + x°}mod(1 + x? + x? + 
x} =a +x, EP S=[0011]. 

例 8.8 在 例 8.6 中 我 们 看 到 , 例 8.3 中 GF(3) 上 (4,2) 祷 环 码 的 生成 多 项 式 为 g(x)=x*+2= 
X-in- ARREARS A - 1)/( 2 -1) a 2°41, RE 8.3 的 推论 1, 生 成 纸 阵 和 一 
i BERS kE BE 


"E 

DH 
和 

a|; 2; t] 

SED 


在 这 个 例题 中 ,56, = G, 5 H, = H, 只 是 一 个 巧合 。 参 见习 题 8.21。 


根据 定理 8.3, 在 一 个 给 定 的 域 上 上 , 码 长 为 n ES SRP Es -1 的 痛 项 系数 为 1 
的 因 式 是 一 一 对 应 的 。 显 然 为 了 赋 究 F 上 的 循环 码 ,了 解 如 何在 F 上 因 式 分 解 x* -1 会 很 有 
帮助 。 虽 然 我 们 这 里 不 对 因 式 分 解 由 -1 做 系统 的 研究 ,但 是 在 表 8.1 PHS lene 
HJ. GF(2) 上 z" -1 的 因 式 分 解 。 这 个 表 包 含 了 研究 6F (2) 上 码 长 <31 HRM BENS 
部 信息 。 
表 8.1 x —-il=x'+1)BRSBA GFI2) 上 不 可 约 多 项 式 的 乘积 (1< n=31) 





H 和 十] = 

1 {x+1) 

2 (x+ 1)2 

3 (x+ + x +1) 

4 (x+ 1) 

5 [x tL Cat + x + r + x+]) 

6 irl ir + x + 1 ¥ 

7 (x4) (s= + x+ llega 

B (x + 1)Ë 

9 (ne dla tat l(a ett ]1) 

iü (x +1)20 5 eat + x° t x+ 1° 

l! (rt) 
13 (r +|])1( 2 y z +1) 

13 (xe dle L ca eta dts Ct xq wt la wee tat) 
14 [z+ 12022 y x el Piste 2 + 122 





PEF É s = 137 





( BER } 
n x +1= 
15 Cet DC tet la +t y +1)(t2a ae ata aal) 
16 Cx 1718 
17 (atl a + ataa (ab tel 4 cht ata za x+ 1) 
18 (x +1) (x? q wa TY Ceo te ta 132 
19 (w+1)(z tar t ta peal 
20 feel (20 + al attal 
Zi Ca tla? + et [lr 2 et a tr 
22 Cat (s= ta? ta! k zl qa ata taa] 
23 Cat lx rttr arbrit Dal tl ig y t + x2 x 15 
24 iatl ir + z+ 1) 
25 (xtra tat et Di r Mea) 
26 Cath Bea ae a eae att a tft a ete H ee 1)2 
27 Cae tliat rl a 2 alt Fa) 
28 Cath Oat at ee Cx + z° +134 
29 (atla y eae q s +1) 
3⁄0 (x+]) (z + x+ at xt 1205 a 21205 ta x) y m? + x + 1) 


(z#+l1)( tx tr +a H Dt tate ttle xg 22 2 x+ DC ete ba x+ 1)(2 + 3 


31 
+s + x+ 1) 





例 8.9 iX 83442 8.1 列 出 码 长 为 了 的 所 有 可 能 的 二 进 制 码 。 根据 表 8.1,x -1 可 以 分 解 


为 三 个 不 同 竟 不 可 约 因 起 :x 一 1=(xt+t1)(x 4041 + 2 +1), 因 此 x -1 具有 2 = 
8 小 不 同 的 因 式 gfxyo 这 就 得 出 了 下 面 的 列表 : 





(A, k) gf x) zt J 
a (7,7) 加 l A ay aS 

(7,6) at] 全 奇偶 校 验 码 

(7,4) r+x+l ABD 

(7,4) tate] 这 明码 

(7,3) (x +1)(x +z +1) P| 8.2 中 的 码 

(7,3) (w+ h(x? + 2741} Bi 8.2 PRAY" RR” 

(7,1) (ala x+ iHa? + 7413 重复 二 

(7,0) x +] Ata ae 


例如 ,我 们 判断 g(x)=x +x+1 的 (7,4) 人 循环 码 是 汉 明 码 。 为 证 明 这 一 点 ,注意 到 它 的 
一 至 校 验 多 项 式 是 (x +l + x +1]) =x' +q 2 +XY+1。 因 此 根据 定理 8.,3 的 推论 1, 这 
As Bah yy — AS — Bq fat Ber 4B E. 29 ; 


il 
— oO oS 


Ü l 
l 1 
0 0 


= oS — 


l 
H = |Ü 
Ü 


TRAP F3£ H 5 +ABF), ARE 7.4 ye X ETARE an. 我们 将 其 
他 注释 的 证 明 留 做 习题 8.23. 


| 
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在 例 8.9 中 ,我 们 看 到 gtx)}=x +x+1 生 成 了 一 个 (7,4) 汉 明码 。 介 是 根据 表 8.1, g(x) 
不 仅 能 整除 *  - 1, 而 且 还 能 整除 x”- 1. 实际 上 ,对 于 任意 7 的 信 数 nn,x tee 115" -1{ 见 
“Ji 8.24)。 因 此 根据 定理 8.3(b),g(x} 牛 成 了 上 整个 一 类 循环 码 , 它 们 具有 符 数 (7,4),(14， 
11) ,421,18),…。 然 而 除了 弟 一 个 码 以 外 ,其 余 的 码 都 党 有 一 个 牛 成 孙 数 为 x” -1 的 码 字 , 即 
公 的 最 小 午 量 等 于 2。 因 此 这 些 码 对 错误 纪 正 是 没有 意义 的 一般 称 它们 为 反常 循环 码 { 见 
JM 8,26)。 在 本 章 的 剩余 部 分 中 , 当 我 们 提 到 生成 多 项 式 为 g(x) 的 (nn, 循环 码 时 ,都 假设 
它 是 一 个 正常 循环 码 , 也 就 是 说 , 尼 的 n 是 使 gtx}1lx -1 成 立 的 最 小 正 整 数 ， 这 个 正和 整数 有 
时 被 称 为 gtx) 的 周期 ,因为 它 是 序 鹿 [ mod g(x)];,o 的 周期 。( 习 题 8.27 是 有 关 一 致 校 验 
多 项 式 周期 小 于 rn 的 循环 码 的 讨论 ,) 建 并 了 这 个 约定 以 后 ,我 们 将 进一步 研究 循环 码 ， 


8.2 循环 码 的 移 位 寄存 编码 剧 


根据 定 埋 8.3 我 们 知道 ,每 个 循环 码 痢 可 以 由 它 的 生成 多 项 式 确定 ,这 就 可 以 理解 为 什么 
循环 码 比 任意 线性 侣 更 容易 实现 了 。 在 本 节 中 将 证 明 , 实 际 上 任意 循环 码 的 编码 都 可 以 通过 
一 个 称 为 移 位 寄存 编码 器 的 简单 有 限 状态 机 来 实现 。 

回忆 一 下 Gn, 上 ) 线 性 码 的 编码 算法 ,不 论 码 是 否 是 循环 的 ,都 是 将 长 度 为 上 的 信息 序列 
Cystic dk. JER RAAT n BSC, Geo CG,.1) 集 合 的 一 种 规则 ,或 者 等 价 地 ， 
是 映射 信息 多 项 式 POy)= L + eto + ha [RAMBO Cle) = C. + Crate + 
Ci 集合 的 -- 种 规则 。 如 果 码 是 循环 的 ,定理 8.3 PR, C( x ) t — Ti F HRD 
要 条 件 为 C(x) 是 g(x) 的 倍 式 ,因此 ,正如 在 定 埋 8.3 的 推论 1 中 所 看 到 的 ,将 信息 多 项 式 
1(x) 有 映射 为 码 多 项 式 的 一 个 简单 方法 ,是 将 1(x) 冬 以 glar): 


I(x) — I(x)g(x) (8.2) 
MA HRA BIL ABER TE RADE AR , MEARE F 


这 个 专题 
图 8.1 是 一 个 电路 的 抽象 表示 , 它 能 够 实现 任意 多 项 式 1( x) 乘 以 一 个 因 定 多 项 式 g(x) 
的 乘法 。 在 说 明 这 个 电路 的 功能 之 前 ,我 们 最 好 解释 一 下 它 的 各 个 元 件 。 


. h. CO = ih 
ints j cae 


图 8.1 -PRA g(x)= ga + gx +" + g. HBA. RA ee 
-AEREE Ag OH n, DERB, g Prene k 
8.1 中 的 电路 是 由 二 类 元 件 连 接 在 一 起 构成 的 :触发 器 、 加 法 器 和 常数 磁 法 器 。 其 中 最 
重要 的 是 甬 发 器 ,有 了 时 也 称 为 延 时 元 件 : 





一 5- 一- ee --- 


T mr eye ude Jue ap “maaa mana en w x s Ae 


Oe er eg pe HT 
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触发 器 是 一 个 能 够 存储 域 中 茶 个 元 各 的 岂 件 。 这 里 还 有 一 个 重要 的 组 成 部 分 ,在 我 们 
的 简化 电路 图 中 并 没有 画 出 ,这 就 是 能 够 每 隔 to 秒 产 生 一 个 时 间 信 号 的 外 部 时 钟 ”。 当 时 钟 
输出 信号 时 ,触发 器 的 内 容 褒 箭头 方向 移出 触发 占 , 通 过 电路 直达 下 一 个 触发 咽 。 并 在 这 里 停 
止 ,直到 下 一 个 时 锦 信 和 号 到 来 。 移 位 寄存 带 的 内 容 可 以 被 相 邻 触发 器 之 淹 的 电路 改变 ,这 些 电 
路 就 是 接 人 其 他 两 种 逻辑 元 件 的 地 方 。 双 输入 加 法 器 如 下 图 所 示 : 


oe 


加 法 器 


它 是 一 种 对 两 个 输入 信号 求 和 的 设备 。( 电 路 的 设计 必须 保证 每 经 过 一 个 时 钟 局 期 Da H: 
每 个 输 人 都 恰好 收 到 一 全 信和 号 ,所 以 加 法 器 的 输出 总 是 明确 的 。) 最 后 介绍 最 简单 的 电路 元 件 ， 


E EEE 
PRES 
iP A ELA oo DE EGR 
现在 来 看 一 下 为 什么 图 8.1 HR FSS. APES eR C(x) = 

C+ Grt G. im ”系数 的 公式 ,其 中 Clix) = 1(x) g(x): 

Co = Jogo 

C = fog} + fi 80 

Cy = fogs + diigi + D; go 


(8,3) 
C = fog, + fig-1 +e + Fg 


Cn l= fe jE 


图 8.1 中 和 触发 器 的 初始 内 容 为 0。 下 面 按 输入 箭头 方向 向 移 位 寄存 器 中 输入 序列 tts oas 
并 附加 =nm -个 0, 每 个 时 钟 周 期 输 人 一 个 比特 。 现 在 研究 一 下 在 每 个 时 钟 局 期 内 电路 的 


工作 状态 : 

时 锦 周 期 0 输入 :上 
称 位 寄存 器 内 容 :[0,0,0,…,0] 
输出 :jh Bo 

时 和 钟 周期 1 输入: 无 
称 位 寄存 器 内 容 :[ ,0,0,… ,0] 
Mar ths ogy + l Bo 

By Bp yal RA j 输入 :了 


物 位 寄存 器 内 容 :[ 了.， e dis da, 0] 
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输出 : hg; 7 Í g; + + LG, 


时 和 钟 周期 n-1 输入 ;0 
移 位 寄存 器 内 容 :10,…,0_1j 
WE: hag, 
因此 如 条 电路 图 8.1 中 甬 发 背 的 初始 和 内容 是 个 0, 并 给 出 个 符号 的 输 和 人 序列 ( 瑟 , 五 ，…， 
L. 0.7770). RU Fag oe 80 ECC, CC) rh C 由 式 (8.3) 定 义 , 所 以 这 个 电路 可 以 用 
(ER SMA gtx) 的 循环 码 的 编码 兹 。 
注意 ”上面 描 述 的 是 一 种 "通用 " 称 位 寄存 器 电路 , 它 可 以 实现 任 部 域 F kaji. Yo i (Aka SS. 
加 法 器 . 率 法 器 ) 并 不 是 现货 殿 应 "的 器 人 忻 。 但 是 如 果 只 考虑 政 GF(2) ,这 些 刘备 确 实 非 常 简单 : 


mes = DRESS 
WEE = FAS 
o% = FAB 
1 率 法 器 = AREA 


例 8.10 正如 我 们 在 例 8.6 中 看 到 的 , 例 8.2 中 {7,3) 二 进 制 循环 码 的 生成 多 项 式 为 gfr) = 
x + x eet], PEM BEEAR BB W] 8.2 PT. PRO Lj RR 35 3k 47 a 
i) = ANE Bae MS AR AS ede 0, ROAD TA, 
站 0;0.0,0)。 这 了 不 输入 比特 将 产生 了 全 输出 比特 (Co Cis Cas C Cas Css Cy) EE 
相应 的 码 字 。 人 例如, 如果 信息 比特 为 (1,0,0) ,那么 相应 的 码 宇 将 是 “ 冲 汶 响应 {1,0,1,1， 
1 ,0,0) ,这 实际 上 就 是 生成 多 项 式 1+x + x) + (LAB 8.2 中 的 码 字 C) 





图 8.2 ERZAR g(x)= l+ x? + z'+ x HO, SIRE RS El de 


图 8.1 和 图 8.2 中 的 编码 器 已 经 是 最 简单 的 了 ,但 遗憾 的 是 ,它们 是 非 系 统 的 ,就 是 说 , 信 
息 比 特 (4 ,了 ,… ,了 上.) 并 没有 不 变 地 出 现在 相应 的 码 字 (C6, CC 中。 但 是 ,对 任意 
循环 码 者 可 以 设计 出 系统 的 移 位 寄存 编码 器 , 它 只 比 非 系统 的 编码 器 咯 微 复 傈 一 点。 思路 是 
利用 定理 8.3 中 推论 2 的 结论 , 即 如 果 7(x) 基 一 个 信息 多 项 式 , 出 
Hx) — x" Hx) — [w x)] mod g(x} (8.4) 
是 一 个 生成 多 项 式 为 g(x) 的 循环 码 的 系统 编码 规则 。 这 种 编码 器 的 中 心 部 件 是 一 个 “od g(x) 
电路 ,其 中 g(x) 为 码 的 生成 多 项 式 。 图 8.3(a) 描 述 了 一 个 这 样 的 电路 ,其 中 g(x)= x + 
Bi + + Boe 
为 了 解 图 8.3(a) 的 电路 是 如 何 实现 "mod els) ZAR, RATER AR TS are at 
的 内 容 [ 5505, ，…,s,_1]( 称 之 为 状态 矢量 ), 以 及 相应 的 生成 蝴 数 SC(x)= stss 
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CPR AK AS SRA). FERATI RE PEA TRA BM ARE Be. 

引 理 3 如 果 图 8.3(a) 中 的 电路 其 有 状态 名 项 式 S(x), 而 输入 是 5， 那么 下 一 个 状态 多 项 
A: 

S (x) = (s + I mod g(x) 
EAB: eR SMRAKEA Salsas ] TRAA s, WARREN TE Ra £H K AK k 29 
Ae THE, PF —-TPRRKEHE : 

S’ = [s — 205-1, $0 — Bisri tta Sr 2 — g-is] 
Batt F — 438 AS SMA: 
S'(x) = s + sax + : - ` + Saxl — s. (go + gix toe + gr_1X" |) 
= s + xS(x) — 53r_18(X) 

可 见 S fx) 是 一 个 次 数 < deg g(x) 的 多 项 式 , 它 使 (s+ xS(x))— S'(x) RA gf SI 的 一 个 
je K ,根据 引 理 l(c) A S'(x)=(s+xS(x))mod g(x), 


ba 81 





“DD > 


(a) 


mH m One z= 


(b; 


图 8.3 (a) 一 个 通用 的 “mod g(x)" 移 位 寄存 器 电路 ,其 中 z(x)= X +g. a X tt go 
(bh) —* BRA mode’ + x + x° + 1 称 位 寄存 器 ,其 中 所 有 运算 都 是 mod2 的 
定理 8.4 和 如果 图 8.3{a) 所 示 电 路 的 初始 设置 为 5 = si =" =$.1=0, 并 且 给 定 输入 序 
列 ao sai;0;，…( 在 第 0 个 时 钟 周期 输入 an ,在 第 1 个 时 钟 周期 输入 a ,等 等 ), 虽 在 第 + 
f 
S,(x) = Y ax mod g(x) 
j=0 
WAS: R at, EAHA, NT (=0,1,2 r - 1, RARE: 
r 一 ! 一 上 


S, = Gi Arle dp, Ü, e, 0 


Emak ST, REESE S(x) 3 kak S. (z): 
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54100) = a + XIX) mod g(x) ( jÆ 3) 


í 
= gpi + x (> a mod «| mod g(x) ( 归纳 假设 ) 


/=0 


= depp + (Sat) mod g(x) [4] # 1(d)] 


J=0 
r+ 
=$ ax I mod g(x) — [ 引 理 1(a) 和 (c) 
pou 


证 明定 理 成 立 
定理 8.4 解 释 了 为 什么 图 8.34a) 的 电路 攻 称 为 mod g(x)" 电 足 。 我 们 的 下 一 个 目标 是 


利用 它 ,以 总 编码 规则 (8.4) 式 , 米 构造 一 个 生成 多 项 式 为 g(x) 的 循环 码 系 统 移 位 寄存 编码 
路 。 编 码 规 则 (8.4) 式 需要 计算 ， 


万 一 二 
[x"F(x)] mod g(x) = Y ` 1!,..,x! mod g(x) 


JeF 


根据 定理 8.4, 可 以 给 出 mod g(x) HR n T T SAIRASTA: 


pa Seren 
athe fy, Q, aa) 


HT — + S 50 3885 BS MT hR OO 到 -1 不 变 地 输出 个 信息 符号 ,所 以 应 该 从 第 个 时 
钟 周期 于 始 输 出 一致 校 验 符号 . 即 [xT(x)]mod gf(z) 的 系数 ,但 是 实际 上 将 不 得 不 再 等 待 了 个 
叶 钟 周期 ,才能 计算 出 [六 xjmod gz)。 李 运 的 是 ,通过 采用 图 8.4(a) 的 电路 ,可 以 避 饮 这 
r 个 时 钟 周 期 的 “停歇 时 间 ”- 
在 错 8.4(a) 的 电路 中 ,输入 比特 从 右 侧 送信 移 位 寄生 器 ,而 不 是 像 图 8.3 那样 从 左 侧 输 
A. BEEE A ME my,a,…, 则 上 个 时 钟 周 期 之 后 , 移 位 寄存 器 的 状态 多 项 式 将 是 
Joa ax mod g(x), MEEL zo a;x' mod a(x). (可 题 8.31 将 证 明 这 个 结论 .因此 如 
TARRA k MAE Io 二 天 到 图 8.4 的 移 位 寄存 器 , 则 [xx ]mod g(x) 的 
系数 止 如 所 需要 的 那样 ,将 在 第 上 个 时 钟 周期 开始 时 准备 好 。 图 8.5(a) 所 示 的 是 一 个 基于 
图 8.4{a) 中 移 位 寄存 器 的 完整 系统 码 编 码 嚣 。 注 意 与 图 8.1 的 非 系统 编码 冀 相 比 ,在 图 8.5(8) 
的 编码 器 中 ,信息 符号 以 反 序 Looto 1 输入 编 色 器 ,而 码 宇 元 素 也 世 反 序 Cris 6, 2577, 
Ci, Co 输入 到 信道 中 ， 
例 8.11 如 果 将 图 8.5(a) 所 介绍 的 通用 结构 应 用 于 域 GF(2) E g(x)= x' + x° + x° +1 这 种 
特殊 情况 ,我 们 将 得 到 图 8.5(b}) 所 示 的 编码 器 。 例如 ,如 果 信 息 上 序列 (了 ,下 ,0)= (1,1， 
0) ,并 加 上 {0,0,0,0) 作 为 图 8,5(b) 编 码 电路 的 输入 序列 , 则 输出 将 是 (1,1,0,1,0,0,1)， 
详细 过 程 如 下 表 所 示 . 


: Big o š E Gà ` J'a ad 
; h; t $ AAY of AE 





时 钟 周期 输 入 称 性 寄存 器 内 容 输 出 
0 i 1011 | 
l l 0101 | 
2 0 i001 0 
3 0 0100 l 
4 0 0010 0 
5 0 Oonl 0 
6 0 0000 l 
l x i 






DEH ©- 


(a) 


- J Crore 
输入 
{b) 


48.4 (a) 对 于 一 个 生成 多 项 式 为 g(x)= ga + g x t'i + z BRS IE n BPA 
Fie 270 BS a SS Ek F i Sa HJ) HAS Tu PF fan. (b) 特殊 情况 ela) ax + x` ta tl 


=i s 


HA 


HRA: 前 个 时 钟 周期 间 侣 
后 * 个 时 仲 周 期 断 于 


-E Bi 


Hiti 








输入 一 :一 一 --- | 
HRA: 前 i 个 时 种 周期 向 下 
后 r 个 时 钟 周 期 同上 


(a) 


BEST A H 6 
Rid- BY 88 8] BAB FF 








T a 输出 


前 3 个 时 钟 周期 同 下 


uw ooo ja ER 88) F 


(h) 
图 8.5 (a)  PERSRARA gix} = g tm x+ + ge! +x MSF 
Bn A Bh Jel Sy R St Bb Sg SE DPR TL ea) at tx? 4 
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注意 码 元 是 以 反 序 出 现 的 ,我 们 发 现 这 个 码 定 与 例 8.2 PME C, + C, 相同 。 


在 结束 本 节 之 前 ,将 简单 讨论 一 下 循环 码 的 第 三 类 移 位 寄存 编码 器 , 它 基 于 码 的 一 致 校 验 
多 项 式 。 回 忆 一 下 8.1 节 , 如 果 世 是 一 个 (n, 上 ) 循 环 码 , 具 有 生成 多 项 式 g(x), 则 它 的 一 致 校 
验 多 项 式 h(x)= h + h x+ + Jj 定义 为 ， 
x” — | 
g(x} 
根据 定理 8,3, 每 个 码 字 C(x) 都 是 g(x) 的 倍 式 , 因此 由 式 (8.5) 得 出 C(x)h(x) 是 
gtx)h(tx) =x" -1 ask, FH, 


Ata) = 





(8.5) 


[Ci aACx)], = 0 {8.6) 
下 面 的 定理 说 明 , 式 (8.6) 对 码 字 C(x) 的 系数 C. 具有 很 强 的 约束 。 
定理 8.5 对 于 ?=0,1,…,n 一 1, 有 : 


k 
T 
y ` h Cçi.. p mod n = Ü 


j=0 
让 AA :我 们 有 
k n—| 
h(x)C(x) = P w) p cma”) 

fed m0 

K 天 一 | 

= "(So ait) 
j=0 m=0 


如 果 利 用 mod(w* - 1) 来 降低 这 个 豆 达 式 的 次数 ,再 利用 条 件 x mod( z" — 1) = a ™ " ( 3 
例 8.4) ,会 发 现 : 
k n—i 
ACn = > ` h; S Cree i (8.7) 
f=0 m=ű 
HERBO, Shl Clx)], -04 ELR C O 的 各 个 系数 也 都 为 0， 但 是 由 去 (8.7) 
可 以 得 出 ,对 于 =0,1,…,n 一 1,[h(x)yClx)], $x 65 # 3 29: 
k H—| 
> Ay P aoa 中 x' 的 系数 
J=0 m=i 
如 果 mE f0, lyen- 11, WRU + m)mod + FT i MAS SRR Em = Ci — J)mod n 
(HIAR H AL AOC], 中 x OKRA: 
k 
y h; Cir- py mod H 
=i 
TLRF + 0. 
推论 RA, = 1,03 i=k,k+1, n - 1, 


k 
C: — > h;C i; 
j=l 


æ "` . - ` =- 
e yon T irera r asal ed T — - a - d -' = 一 一 一 -= - 


" 
Pa 


` 
- a me a rh ke HL TYH. RL a! ahah Lee! "B 
`x 
Pal | 
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GEAR eR kien -l), WF f=0,1, A RIA -jmd n= i-i, P85 ER, 
K 
5 &Ci_; = 0 
=Q 
如 果 ho =1, 重 新 整理 最 后 这 个 式 子 ,就 可 以 得 到 前 面 的 结论 。 
定理 8,5 的 推论 说 明了 ,一旦 知道 了 某 个 码 字 的 前 名 个 码 元 G4, CC ,就 可 以 通过 
线性 递归 计算 出 剩 下 的 了 个 码 元 Ce C... EC， 即 每 个 新 向 元 都 是 它 前 面 下 人 对 人 码 元 的 一 
个 固定 线性 组 合 。 由 这 个 结论 可 以 立即 导出 一 个 移 位 寄存 编码 器 ,这 是 因为 实现 线性 递归 计 
算 的 移 仔 寄存 器 电路 很 容易 设计 ; 见 图 8.6。 


as ee 





(a) 





(b) 
图 8.6 (a) 一 个 实现 k 阶 线性 递归 5, = - > >) hS ,的 移 位 寄存 器 
电路 > (by 特殊 情况 5, = Sa + A3 ,对 应 于 h(x) =] 十 x° + x 


图 8.6(aj 给 出 了 一 个 大 级 移 位 寄存 器 电路 , 它 能 够 产生 满足 线性 递归 S= ~ 307, hs, 
的 任意 序列 (So,S; ,5;,…) ,其 中 Ay ,各 :不 为 固定 常数 。 开 始 时 必须 在 电路 的 个 触发 
髓 中 存 人 天 个 初始 值 $4 ,51,…, Sy (So 在 最 右边 的 触发 器 中 )。 然 后 ,对 于 ak, WEBA 
存 器 的 内 容 是 (S_ ,,，…，,S，, ), 则 在 下 一 个 时 钟 周期 后 , 移 位 寄存 器 的 内 容 将 变 为 (3 ,S_，，…， 
SS ，)。 图 8.6(b) 显 示 了 一 个 h(x) = r + 2 +1 的 特殊 情况 ,对 应 于 二 进 制 域 CEF(2) 上 ,3 
时 的 递归 5, = S... + S,-3. 

现在 应 该 清楚 如 何 利 用 图 8.6(a) 的 移 位 寄存 器 电路 ,构造 一 个 具有 一 致 校 验 多 项 式 
hx) =1+ 有 x+ + hxw 的 循环 码 系统 编 码 器 了 [ 见 图 8.7(a)]。 在 前 个 时 钟 周 期 内 ,开关 
处 在 “向 下 "的 位 置 ,个 信息 符号 输入 级 寄存 髓 ,同时 也 输入 信道 。 然 后 开关 放 在 “向 上 ”的 
位 置 ,在 剩余 的 r 个 时 钟 周 期 内 , 移 位 寄存 器 电路 利用 递归 C. = - iL1 AC. ,计算 剩余 的 + 
个 码 元 。 注 意图 8.7 的 系统 h(x) 编码 器 "与 图 8.5 的 系统 g(x) 编码 髓 ”" 相 比 , 有 两 个 重要 的 
不 同 之 处 :在 pO RBR, REARS h, hons” ha AEBN C, Caor Go BATAS 
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以 反 序 (CC Co) 输送 到 信道 中 ,而 在 zz) 编 码 器 中 ,信息 符号 填充 码 元 C... Gen, 
C, , 码 宁 符号 以 自然 顺序 CC ,CC，, 输 送 到 信道 中 。 


例 8.12 如 果 将 图 8.7(a) 的 通用 结构 ,应 用 于 一 个 g(x)=x +x ta +1,h(x)=x tx? +] 
的 (7,3)} 循 环 码 ,会 得 到 图 8.7(b) 所 示 的 编码 器 。 假 设 信 息 震 号 为 (万 ,万 ,天 ) = (1,1,0)， 
图 8.7(Db) 的 编码 器 实现 递归 Ci = Cat Cs; 并 产生 码 字 (1,1,0,0,1,0,1), 这 就 是 例 8.2 
中 的 码 宇 CC +C,+C., 32 3F3 S3k 48569 g(x) 编 码 器 ,如 图 ,5(h) 所 示 , 需 要 4 个 触发 
器 和 3 个 mod-2 加 法 器 ,而 图 8.7(hb) 的 h(x) 编码 融 仅 需要 3 个 触发 器 和 1 个 mod-2 加 法 
器 -作为 一 个 通用 规则 , 当 <r, 即 下 < nj2 时 ,h(x) 编 码 嚣 会 茵 简单 。 


“hy, fi, 


j 前 4 个 时 钟 周期 : 向 下 
后 r 个 时 钟 周期 向 上 









输入 一 一 






i 前 3 个 时 钟 同期， 向 下 
后 4 不 时 钟 周期 ， 向 上 


(b) 


图 8.7 (a) —3k SOSA Ala) alt hi x+ ha Cn, k 
环 码 的 系统 称 位 寄存 编码 器 。(h) 特 殊 情况 AC) = 1 + x° + z? 


8.3 Tenia 


在 7.4 节 中 ,我 们 定义 码 长 为 2" -1 的 二 进 制 汉 明码 ,其 一 致 校 验 矩阵 由 2” -1 个 长 度 为 
m 的 非 零 二 进 制 列 舌 量 组 成 ,这 些 列 可 以 按 尾 意 顺 序 排列 。 例 如 ,下 面 的 一 致 校 验 窍 阵 定义 
了 一 个 ,4) 汉 明码 (参照 7,4 节 中 的 矩阵 H): 

0 1 1 1 1 0 ] 

I 0 1 i 0 1 OÜ 
|! 10 10 0 l 
显然 这 些 列 有 (2” — 1)! 种 排列 方式 ,虽然 这 些 排列 中 的 任何 一 种 都 能 产生 一 个 完备 的 纠正 单 
个 错误 码 , 但 是 从 应 用 的 前 度 来 看 , 革 些 排列 优 于 其 他 的 排列 。 实 际 上 在 本 下 中 我 们 将 要 看 
到 ,可 以 选择 一 种 使 涩 明码 具 有 短 环 特 作 的 排列 ,以便 通过 简单 的 移 位 寄存 此 实 现 编码 痒 和 译 
码 器 。 为 了 描述 这 种 排列 ,我 们 假设 读者 已 经 熟悉 有 限 域 GO ) 等 基本 概念 ,在 这 个 城中 每 
个 元 素 都 可 以 由 一 个 长 度 为 m 的 二 进 制 和 撩 量 表示 。{ 在 附录 C 中 简单 概括 了 所 党 要 的 知 
iA.) 


H= 
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为 了 得 到 码 长 为 2 -1 的 一 个 循环 汉 明 码 , 首 先 从 一 个 本 原 根 a € GF(2” 开始 ,利用 它 
定义 如 于 线性 码 C。 元 素 属 于 CDHE C=C, Cae, C Cr, MAY, 


Cot Cja¢---+C,-je¢7' = 0 (8.8) 
或 者 CEH FB] ix n BOR Ee ES. 
H=fl a a... a (8.9) 


很 快 将 证 明 , 由 式 (8.8) 或 式 (8.9) 定 闵 的 码 居 一 个 循环 汉 明 码 。 但 是 现在 需要 注意 的 是 ,这 个 
定义 中 的 码 元 属于 二 进 制 域 6F (2), 而 一 致 校 验 和 矩阵 中 的 元 素 属于 扩展 域 6F (2”" )。 后 面 将 
看 到 ,采用 这 种 “ 双 域 "定义 方法 具有 很 多 优点 。 当 然 通 过 更 方便 的 (也 是 更 复杂 的 ) 二 进 制 一 
臻 校 验 矩阵 同样 可 以 定义 这 个 码 , 方 法 是 将 严 中 每 个 a 的 究 替 换 为 相应 的 m 比特 列 矢 量 。 例 
如 对 于 m =3, 如 果 « 是 GF(2) 中 的 一 个 本 原 根 ,满足 0 =a+1, 则 表 8.2 列 出 了 表示 a AR 
三 维和 所 量 。 内 此 式 (8.9) 中 的 1x7 阶 GF(8) 78K A, S FRR 3x 7 RCE EX í 


相同 的 二 进 制 码 ; 
0 0 101 1 1 
H'=|]0 10431 1 1 O 
| 00 1 0 1 1 
#8.2 GFf8] 中 z< WE, HH a®=a+1 
Ü oni 
| 10 
2 1) 
3 O11 
4 119 
5 I]I 
6 101 
下 面 的 定理 是 本 节 的 主要 绪论。 


定理 8.6 上 面 定义 [ 即 由 式 (8.8) 或 式 (8.9) 定 义 ] 的 码 , 是 一 个 生成 多 项 式 为 p(x) 
(g(x) 是 a 的 最 小 多 项 式 ) 的 (n,n -m) 二 进 制 循环 码 , 并 且 是 一 个 最 小 距离 为 3 HRA. 


证 了 明 ; 显 然 ,这 个 码 是 一 个 码 长 为 n 的 二 诗 制 线性 码 。 需 要 证 明 它 是 社 环 码 , 计 且 以 glx) 
为 生成 多 项 式 。 为 了 证 明 它 是 循环 码 ,注意 如 果 将 式 (8.8) 乘 以 CHAM RH a" = 1, 就 
可 以 得 到 ， 

Crop + Coa +--+ Cy_2a"7 = 0 


显然 如 果 万 满足 式 (8,8), 则 Cr 也 满足 ,因此 该 码 是 循环 的 。 为 了 证 明 g(x) 是 生成 多 项 
X ,我 们 注意 到 式 (8.8) 等 价 于 Cla)=0, 其 中 C(x)= C. + Cix+"**+ C. 71 3 85 £ A 
K. ARRIARAN Cata RK h S f K. g AER., TRALLA TA 
Akkan- BA ola) FAM SRA, AREAS 8.3, g(x) 是 码 的 生成 多 项 式 。 

最 后 需要 证 明 的 是 , 码 的 最 小 距离 du 为 3。 因为 码 是 线性 的 ,所 以 d u, = Wane 利用 定义 
(8.8) 式 ;如 果 存 在 一 个 重量 为 上 的 码 字 , 则 对 于 某 信 ia =0, 而 这 显然 是 不 可 能 的 。 美 
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AAW, , fk — PEED 2 BSH AP ORHAN TES i fey GORE Osi<jan-)), 
有 a'+a =0, HAARA ae EA lte = 人 0, 而 这 也 是 不 可 能 的 ,因为 使 a =1 的 最 小 
Exe, 是 n。 最 后 ,注意 到 存在 很 多 重量 为 3 的 码 字 ;例如 ,如 果 1+a=wm, 则 奉 在 一 个 
重 本 为 3 的 码 字 , 它 的 非 堆 码 元 是 G0,C 和 Ge 


既然 已 知道 存在 循环 汉 明 码 , 则 根据 8.2 节 的 结论 ,利用 汉 明 码 的 生成 多 项 式 , 可 以 构造 
简单 的 移 位 害 存 编码 器 。 由 于 汉 明 码 的 生成 多 项 式 一 定 是 一 个 本 原 多 项 式 ,为 了 构造 一 个 码 
长 为 2" - 1 的 循环 汉 明 码 ,必须 寻找 一 个 m 次 本 原 多 项 式 。 在 表 8.3 中 ,对 于 1< m= 12, R 
们 各 列 出 一 个 m 次 本 原 多 项 式 。 给 定 一 个 m 值 ,通常 会 有 多 个 m 次 本 原 多 项 式 , 但 表 8.3 中 
所 选 的 是 具有 最 少 非 零 系 数 的 那些 本 原 多 项 式 , 这 可 以 使 移 位 寄存 编码 器 中 的 mod-2 MIAA 
数 昌 最 少 。 
#83 可 以 作为 汉 肯 码 生 成 多 项 式 的 一 些 本 原 多 项 式 





m mR SH 
1 a 

xi + x+1 

3 =+ x+] 

4 stati 

5 xY + x? el 

6 eat] 

7 x+ x+] 

B x tx kx + x+] 
9 x + xt +] 

]Ü 4l 

ll xt xt +] 

12 tah txt tat i 





实际 上 , 比 简化 汉 明 码 编码 更 重要 的 ,是 构造 它们 的 简单 译 码 器 。 在 图 8.8 HRT 
了 一 个 生成 多 项 式 为 g(x) = x tet 的 (7,4) 汉 明码 的 译 码 器 。 这 个 译 码 克 主要 包括 三 个 
部 分 , 即 两 个 移 位 寄存 器 电路 和 一 个 与 门 。 上 面 的 移 位 寄存 器 是 一 个 “med g(*) 电路 ,下 面 
的 移 位 寄存 器 是 一 个 “mod (和 +1)" 电 路 。 如 果 上 面 的 移 位 寄存 器 包含 图 案 10. . .0, 与 门 就 输 
出 1 .其 他 情况 则 输出 0。 我 们 假设 传输 码 字 是 C= (C., Gono CG,_1), 而 接收 到 的 是 R= (Ro, 
R, ,R11) ,并且 及 = C+ 于 ,其 中 记 = (Bo, ,… ,上 上 ,-1) 是 错误 图 案 。 

在 图 8.8 的 译 码 电路 中 ,噪声 码 字 {RR ,R ，…, 民 ,1 ) 按 时 钟 从 左 柚 以 反 序 输入 ( 即 R... TE 
最 前 面 》, 因 此 (根据 定理 8.4) 经 过 n 个 时 钟 局 期 之 后 ,上 上面 的 称 位 寄存 器 内 容 是 Rx)mod glx), 
下 面 的 移 位 寄存 器 内 容 是 R(x)mod (a +1), 即 (Ro, Rits R.i) MF R(x)= C(x)+ Elx), 
而 C(x)mod g(x) =0( 因 为 C(x) 晨 一 个 码 字 ), 所 以 实际 上 ,上 面 的 移 位 寄存 右 内 容 是 
E(x)mod g(x) WERA RR, M ECx) =0, 上 面 的 移 位 寄存 器 内 容 是 全 0。 如 果 在 第 。 个 位 
置 有 一 个 错误 , 则 E(x)=x' HPOsecn-1. 


` 
Sor ee 


I = ` 
Tar i u — -一 


r 
-= > = pi oe, ae ee oa rpa ia ee a te F ae —— r" 


7 77 ' 
Ph 
- 四 








FEA. x EB]: 10.. 0iHg g 
ARNG ' 开关 28: 前 n 个 时 钟 周期 断 开 
| 后 "个 时 钟 


后 nr 个 时 钟 周期 斯 开 ， | # 个 时 钟 周期 闭合 
mad (+1) 电路 
图 8.8 后 成 多 项 式 为 gt{x} = x +e + 的 人 {7,4) 汉 明码 的 一 个 译 码 电路 

此 时 ,开关 A 断 开 ,开关 B 闭合 ,两 个 称 位 寄存 器 再 自动 运行 n 个 时 钟 局 期 。 我 们 称 这 nn 
个 时 钟 信 号 为 译 码 周期 。 在 译 码 周 期 结束 时 ,如 果 最 多 存在 一 个 错误 , 则 原来 的 码 字 C5{x) 将 
出 现在 下 面 的 称 位 寄存 器 中 。 下 面 来 看 一 下 为 什么 会 是 这 个 结 采 . 

在 译 码 周期 的 第 : 个 时 钟 周期 之 后 ,上 面 移 位 寄存 虽 的 内 容 将 是 (mod g(x), 而 下 
面 移 位 寄存 器 的 内 容 将 是 “Rsjmod Cx" + 1), 即 接收 码 字 的 第 t HRM CR 
Ro): 这 两 个 称 位 寄存 器 通过 与 门 和 开关 B ER, 4 H 4 23 E I P) 3 u Sy ff es VS £ je 
10.. ORT, 2024 A024 z'E(x)mod g(x)=1 时 ,与 门 输出 1。 如 果 没 有 和 销 误 , 妈 E(x) =0, 与 门 
将 一 直 不 被 触 发 ,在 译 码 周期 结束 后 ,下 面 的 称 位 寄存 器 内 容 是 没有 变化 的 接收 码 字 。 但 是 如 
果 存 在 一 个 错误 ,并且 在 第 e 个 位 置 上 , 妈 EC) = x , 则 在 译 码 周期 的 第 (nn - e)mod n 个 时 钟 
周期 之 后 ,上 面 移 移 位 寄存 器 内 容 将 是 x" "x" mod glx) = x" mod gtx)=1( 因 为 g(x) 是 x" -1 
的 一 个 因 式 })。 此 时 下 面 的 称 位 寄存 器 内 容 是 (R,,R,,) ,…, 民 .1) ,因此 在 下 一 个 时 钟 局 期 ,与 
门将 输出 -个 1, 并 改变 接收 码 字 的 错误 码 元 RR,, 即 记 下 错误。 然后 再 经 过 (e - 1)mod a 个 时 
钟 局 期 ,接收 怒 字 将 完成 它 在 下 面 称 位 寄存 器 中 的 循环 称 位 ,这 时 错误 已 被 纠正 ,正确 的 码 字 
出 现在 下 本 的 称 位 寄存 器 中 。 

在 8.5 节 中 ,我 们 将 介绍 如 何 推 广 图 8.8 的 电路 ,以 构造 一 个 纠正 突 发 错误 循环 码 的 评 码 
器 。8.4 节 则 将 首先 介绍 开赴 突 发 错 澡 的 基本 理论 。( 上 顺便 提 一 句 , 牢 环 汉 明码 的 对 俩 公 也 上 县 
有 重要 意 多 ,加 上 题 8,41 将 进行 简要 介绍 ,) 


8.4 纠正 突 发 错误 


在 很 多 具有 实际 价值 的 信道 上 ,经 常 出 现 的 是 突 发 错误 。 物 理 上 , 突 发 错误 是 因为 某 神 原 
因 信 道 品 声 在 短 时 间 册 急剧 增加 ,然后 又 恢复 正常 而 产生 的 。 本 节 中 ,将 介绍 如 和 何 利用 鼻 环 码 
来 检测 和 纠正 突 发 错误 。 

首先 对 罕 发 错误 做 一 个 纯 数 学 的 定 郊 。 很 设 发 送 一 个 码 字 CHERA] R= C + E, B; Z 
如 果 正 的 非 零 分 量 集 中 在 b MERA , 则 称 错 误 矢 量 正 是 一 个 长 度 为 点 的 突 发 。 鲍 如 下 = 
(0100000110) E: — T SEE 29 7 HRR: 


Ü 1 0 0 0 01 Í Ü 
{在 这 个 表示 中 ,* 标记 着 错误 突 发 。) 因 为 我 们 要 利用 循环 码 来 纠正 突 发 错误 ,所 以 出 于 技术 


上 的 考虑 ,还 需要 定义 循环 突 发 。 如 果 一 个 错误 矢量 下 的 非 零 分 量 集 中 在 b 个 循环 连续 位 
内 ,就 称 它 是 一 个 长 度 为 了 8 的 循环 突 发 。 例 如 ,前 文 所 述 的 长 度 为 7 的 突 发 错误 天 量 EE = 
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(010000110) ,也 可 以 看 和 做 是 一 个 长 度 为 的 循环 突 必 : 
01000011 

在 本 节 的 剩余 部 分 中 ， 突 发 "就 意味 着 " 撼 环 突 发 o 

详细 地 描述 突 发 错误 矢量 是 有 意义 的 ,因此 我 们 3 引 人 人 突 发 图 案 和 位置 的 概念 。 如 科 了 大 
一 个 非 零 突 发 错误 矢量 , 它 的 突 发 图 案 就 是 一 个 从 正中 的 第 一 个 非 零 符 续 开始 ,到 最 后 一 个 
非 零 符号 结束 的 符号 串 。 而 突 发 位 置 是 突 发 中 第 一 个 非 零 符号 的 标号 。 例 如 ,当天 量 E= 
(010000110) 被 看 做 一 个 长 度 为 了 的 窗 发 时 ,具有 罕 发 图 案 1000011 和 突 发 位 置 1( 假 设 分 量 标 
号 为 0,1,…,8)。 遗 憾 的 是 ,对 大 多 数 矢量 而 言 ,“ 突 发 图 案 - 突 发 位 置 ”" 的 描述 并 不 是 惟一 的 ， 
因为 正中 的 任意 非 零 符号 都 可 以 看 做 是 循环 突 发 中 的 第 一 个 符号 。 因 此 一 个 重量 为 w WG 
误 矢 量 将 有 w HRA. P20, E = (010000110) 有 三 种 突 发 描述 : 


3* 
Ü 





图 案 位 W 
1000011 1 
11001 6 
100100001 了 


这 种 歧义 虽然 麻烦 ,但 通常 并 不 严重 ,因为 实际 中 发 生 的 可 纠正 突 发 一 般 都 非常 短 , 而 正 
如 下 面 的 定理 所 要 证 明 的 ,一 个 短 突 发 可 以 只 有 一 种 简短 的 描述 。 


定理 8.7 设 下 是 一 个 长 度 为 的 错误 矢量 ,具有 两 种 突 发 描述 (图 委 1, 位 置 1) 和 (图 委 2, 
位 置 2)， 如 果 图 案 1 的 长 度 + 图案 2 的 长 度 志 n+1, 则 这 两 种 描述 是 相同 的 , 即 图 案 1= 
Ae? 且 位 置 1= 上 位 置 23 


证 了 明 : 和 如 上 所 述 ,如 果 书 的 重量 为 四, 则 下 恰好 有 如 种 不 同 的 突 发 描述 。 如 果 w=0 或 1， 
结论 无 需 证 明 , 因 此 我 们 假设 we 2, 

络 定 下 的 一 相 罕 发 描述 ,图案 一 定 包 含 了 下 的 所 有 非 专 分 量 ,而 图 案 中 没有 和 包含 的 正中 
分 量 形 虚 了 一 个 各 的 循环 段 ,从 图案 中 最 后 一 个 非 零 分 章 后 开始 ,并 一 直 桂 续 到 图 案 中 第 
-AE ESEA Rk. SHB HEAR ,我们 称 这 个 0 御 环 段 的 标号 业 合 为 零 段 。 
例如 ,对 于 区 =(0100001107 ,在 前 面 已 经 看 到 , 它 有 三 种 突 发 描述 。 在 第 一 种 描述 中 ,图 入 
是 ]000011, 它 从 位 置 1 开始 直到 位 置 7 结 来 。 因 此 对 应 这 个 突 发 描述 的 零 段 为 (0,8)。 
可 见 总 共有 3 个 零 段 ,分 别 对 应 于 巨 的 三 种 突 发 描述 : 


图 案 位 E * É 

I 1000011 l (8,0) 

11001 6 (2,3,4,5) 
100100001 7 A 





ERE- HAAI b EREZA, AR ARE ER ATTERRIR EER 
是 束 不 重 故 的 ,因此 堆 段 的 长 度 总 和 为 下 -ip 其 中 旭 是 下 的 重量 。 为 了 证 明定 理 ,注意 到 如 
果 玉 的 两 种 突 发 描述 

(图 案 1, 位 置 1) 和 (图案 2， 位 置 2) 
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是 不 同 的 , 则 由 于 它们 的 零 段 互 不 重 琶 , 鼓 这 两 个 零 段 对 应 于 十 中 的 (nn 一 图 案 1 的 长 度 }+ 
(nn 一 图 案 ? 的 长 度 ) 个 0。, 但 是 因为 图 案 1 的 长 度 + El £ KA Z n + 1, ry ik A 3k H > 
关 -1 ,与 下 的 重量 沽 2 的 假设 矛盾 。 因 此 这 两 种 突 发 描述 必然 是 相同 的 。 
推论 ”一 个 错误 秋 量 区 最 多 只 可 能 有 一 个 长 度 和 (ma+1) 和 2 的 突 发 描述 ， 
WA: ARE K. PE = (n + D WARR ER 8.7 3 A.W 

根据 定理 8.7, BEE ITP PR EKER RAEN H. 


定理 8.8 如 果 1<b<(n+1)/2, 则 在 2 字音 表 上 恰好 存在 n2 l 1 ARAA RK 
e HR AK BR <b, 
证 了 明 : 根 据 定 理 8.7 的 推论 ,如 果 b< (n +1)2, K b MARR EA AK E = b 
的 突 发 ] 具 有 惟一 的 描述 ,位 置 有 了 种 可 能 。 图 案 必须 以 1 开始 , 且 长 度 近 六 ,这 意味 着 可 
能 的 图 案 与 以 1 开头、 长度 为 记 的 下- 休 二 进 制 串 是 一 一 对 应 的 。 因 此 存在 2 ”种 可 能 
Ae BRA n 种 长 度 过 点 的 非 堆 突 发 。 这 外 数值 再 加 上 和 伐 大 全 堆 突 发 的 1 就 得 到 
P2?- +1, 室 理 得 证 。 
下 面 的 两 个 定理 给 出 了 纠正 罕 发 钳 误 码 参 数 的 有 价值 的 界 。 为 简单 起 见 ,我 们 称 一 个 能 
够 纠正 所 有 长 度 和 6 的 突 发 错误 图 案 的 码 为 纠正 上 长 突 发 铺 误 古 。 
定理 8.9 (HERZAMAN A ie lZ b= (n+ 1) /2,—-S RW ES RRA 
RBESAS WM n2 +d) ABT, 
证 明 : 根 据 定 理 8.8, 长 度 二 三 的 突 发 错误 图 案 共 有 np22 ! +1 个。 如 果 码 中 有 MDGS, 
RMAs Pikes AM (nO 4+ DARS EMME PKR DHEA, FARES 
ido SHORE HK OY, at. M n ! 4+ 1) 2’, 
HE} (Abramson FE} 如 果 1 万 上 和 (n+1)/2, 则 一 个 纠正 5 KERB EHn, k) 
PE Alb ids 38 38 8 + 
n = 2l _ | ( 38 Abramson #) 
Ht r= n - k 2 8 Gr. I-AR: 
r > [loge(n + 1)] + (b — 1) ( 53 Abramson # ) 
证 明 .: 一 个 线性 (n, 上 ) 码 有 M =2t' SOS, AAR E E R, 9,2 rln?) +1), ES 
该 式 , 我 们 得 到 nO - 2 t. AB n BMR-PER, MUBARAK ne 
2'-b+1 _ 1 iK3t 3 i Abramson 界 。 重 写 该 式 得 到 HH, EB 85 Abramson 界 。 
定理 8.10 wE benn W] — Ab £ KERR AAE £S ESI OPES. 
证 明 : 如 果 M>2°°? W EJE2S 3 RE. — 2 f 0 353 EA n -25 性 是 相同 的 。 
这 两 个 码 字 可 以 用 图 示 法 做 如 下 表示 : 


n- 2h 2h 
p 
本 一 第 * « « « *# £#* AAAAAA 


Y— wk xk £ # *# k k AB RBBBBB 
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其 中 “x "代表 相同 位 ,4 RAEN, mF 
Zo=x k k k k k kt kt AAA BRB 


J X # Y RWS — K E = b ER ik ak P mk. y TA. 


推论 [Reiger 界 ) =E 0 过 5 二 ny2, 则 一 个 纠正 五 长 突 发 错误 的 二 进 制 (mm 下 ) 线 性 码 必 
须 满足 ， 

r = Db 
# P r= a - k ABHA. 


证 了 明 ;(n, 皮 二进制 线 性 码 中 的 码 字 数目 是 2° ,根据 定理 8.10, 它 必须 万 2"”““。 这 与 推论 
PRR 


现在 将 要 讨论 一 系列 纠正 罕 发 错误 码 的 例子 。 在 每 个 例子 中 , 码 都 是 循环 的 ,并 且 满 足 强 
Abramson 界 或 者 Reiger 界 ( 对 所 有 线性 码 都 适用 ,不 仅仅 是 循环 码 )。 在 讨论 中 , 当 提 到 一 个 特 
定 的 界 (Abramson 界 或 者 Reiger 界 ) 是 紧 的 时 ,就 意味 着 存在 一 个 磺 , 它 的 元 余 等 于 界 的 值 。 如 
果 不 存 在 这 样 的 码 ,我 们 就 称 这 个 界 是 松 的 。 

例 8.13 g(x)=x l +a teaa tl 的 Cn,1) 二 进 制 重复 码 ( 其 中 n ÆFA), 可 以 纠正 所 

有 重量 过 (na -1)12 的 错误 图 案 , 所 以 是 一 个 纠正 ((n -1)12) 长 突 发 错误 码 。 叉 因为 了 = 

n = 1, PT VA Reiger J-E W 99 ,, 


例 8.14 (n.,n)85 0, 2 3 n OATES A — A g(x) =1 的 循环 码 。 它 是 一 个 
(ACMEM)AE b = 0 长 突 发 错误 码 , 因 为 7 也 等 于 0, 所 以 Reiger 看 还 是 其 的 。 

例 8.15 任意 二 进 制 汉 明码 [fmz=2r -1r=mygfx) 为 一 个 站 次 本 原 多 项 式 ] 是 一 个 纠正 
4 二 1 其实 发 错误 码 ，( 任 意 重 量 为 1 的 错误 秋 量 都 是 一 个 长度 为 1 的 突 发 ,) 对 于 所 有 这 
uk ait 3% Abramson J-A K tjo 


例 8.16+ 任意 一 个 删除 了 奇数 重量 码 字 的 循环 汉 明 码 , 是 一 个 纠正 =2 长 突 发 错误 码 , 被 
称 为 Abramson 硝 。 这 些 码 是 生成 多 项 式 具 有 形式 g(x)= (x+ l)p (x) Amna, K P 
p(x) 是 一 个 本 原 多 项 式 。( 见 习题 8,55。) 最 小 的 Abramson 码 是 (7,3) 乎 环 码 , 具 有 g(x) = 
(x+ !)( i + x he — 8 32 39 3E Fk ; 

l o wf œ a a m 
a= (4 Il 1 1 4 $ 
EF a SCRBPRBAAB aA +at+1l=OH-TABR, 25 A 4828538 a 
下 让 =2 长 突 发 错误 码 , 需 要 验证 所 有 长 度 ba? 突 发 的 伴随 式 各 不 相同 。 对 于 了 = 以 全 


EMRAR IA, HER AL |. q+ b= 1 的 情况 , PRES DORARAE 


a’ (a +1) 
0 

1 +2n 个 健 随 式 各 不 相同 ,因此 该 码 克 实 是 一 个 纠正 DaPKRABR, REBE, ko 
果 g(x)=(x+1)p(x), 其 中 p(x) 是 一 个 加 次 本 原 多 项 式 , 则 n=2” 一 1,f=m+1, 而 
b=2, 因 此 强 Abramson FERH, [FA m = 3, 8°(7,3)%, 685 b =2, Reiger FLAK 


w K|). 对 于 6=2 的 情况 ,一 个 描述 为 (11 RA RAMA e 这 


E _ 
中 sop Pee laa a ee ye rh TT ae ogee. L =H 


a al Gea os oe 
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的 ,但 是 对 于 所 有 更 大 的 m th, Reiger FA APH, | 


DJ 8.178 可 以 证 明生 成 多 项 式 为 g(x)=(x`+x+])(z#”+xz+l1)=x `+ x) + ett 414 


(15,9) — 3k AR, APA p = 3 ERAR, MERU, H Abramson tH 
Reiger FARA RA, A TEAR AINAA-RRBEES, 


l ae... a” 
u= (J wo we... ae 
XP a # GF(16 PRE ot tatl=0H—-P KBE, 是 GF(16) 中 满足 w+w+1=0 
的 一 个 三 阶 元 素 , 现 在 要 验证 一 下 所 有 长 度 b= 3 2 X SRK 6) E 5 = #- + 48 Fi < 
全 过 图 案 具 有 伴随 式 ( | 。 对 于 b= 1 的 情况 ,一 个 揪 述 为 (1 的 突 发 具有 伴随 式 | “]。 


| [e . 
= | ; 1 
a {1+ a) i+? 因为 + 


ef =a, 1+ w= ws 对 于 b=3 的 情况 ,有 两 种 可 能 移 图 案 , 即 10] 和 HI, 一 个 描述 为 
[ z ¿ +Ñ 

Asta -| Blea aa’, m ]+a w PEA 

ti) + te fer 


a’ (l+a+a’) 


对 于 二 2 的 情况 ,一 个 描述 为 (11， i) 的 突 发 具有 伴随 式 | 


te 


GO DH RRMA 


(N RARER] =( at) ,因为 Itata =a", 1 寺中 二 二 = 站 
wo (1 + a+ a’) 


显然 全 过 图 案 和 111 图 案 不 会 与 其 他 的 混 满 ,因为 伴随 式 中 的 第 二 个 元 素 为 <0"。 落 要 区 
分 国 案 1,11 和 01, 需 要 做 进一步 研究 。 对 于 所 有 这 三 个 轩 案 ,伴随 式 形式 为 | ”| ;为 了 


区 分 它们 ,观察 (s -tjmod 3。 如 果 图 染 为 1, 则 s=i,t=i, 因 此 (s — t )mod 3=0; RA 
案 为 1, 则 =i+4,t=i+2, 因 此 (5s- fmod3=23 而 如 果 图 案 为 101, 则 8s=i+8,it= 
i+1, 因 此 {5s -1)mod 3-1, TRAKA <3 4H 6] 个 突 发 ,它们 的 伴随 式 各 不 相同 ,下 表 总 
结 了 突 发 描述 与 尾随 式 之 间 的 关系 。 





EMA LE 
0 
(o) 2 
(* | (111, s- LO mod 15) 
Ü 
(<) (1,s) UR s- tml 3 = Ü 
wy 
(101,5—8 mod 15) 如 果 (s - 2) mod 3= 1 
(11,3 ~-4 mod 15) 如 时 (5s — mod 3 = 2 


例如 ,伴随 式 [ | 天 有 =11,4=0, 因 此 它 对 应 于 突 发 描述 (11,7), 相 应 的 铺 误 图 案 为 


(00000001 1000000) 。 
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fl 8.17 BURT EERE eA EE CAA 8. 的 .但 是 这 些 年 来 ,研究 者 们 已 经 
成 功 地 找到 了 大 量 纠 正 突 发 错误 循环 码 ,它们 都 能 达到 强 Abramson 界 。 这 些 码 通 常 称 为 最 佳 
纠正 罕 发 错误 码 。 在 表 8.4 中 列 出 了 许多 这 样 的 码 ， 


8.4 一 些 达 到 强 Abramson 界 ( 即 满足 n=2'-°*' - 1) HL ERR SRE 


生成 多 项 式 (n, k) b 
Cope eer 7,3) 2 
(xteat lx 41) (15,10) 2 
(x xi + x+ 1) (15,9) 4 
(xP +> + l)(x +1) (31,25) 2 
(aft x + 1)(zr 41) (63,56) 2 
(xŠ + ce Cx? + x 41) (63,55) 3 
(x +x41)€a+1) (127,119) 2 
(xf al tatal) (255,46) 2 
(xy + x ta ala + x+ 1) (255.245) 3 
(+ x ta tate atte Dred) (511,501) 2 
(W? q yn ee oe ee ea x + 1) (511,499) 4 
(x k zt + rl + 22 + 1)(x + 1) (1023, 1012) 2 
(zÜ tate ct eat + x + 1) (1023, 10t1) 3 
(x q x+ m + l)la alea) (1023, 1010) 4 
(zl + x+1)(x+1) (2047 2035) 2 
(rt lk ee Pl et et alal) (4095 , 4082} 2 
(x24 txt xq Sa z+ x+1)(x2 + x+1) {4095 , 4081 } 4 
ff (4095 , 4080) 

Cig gg Mg Pa Pa tte ee DC eet D (41) (32767 , 32748) 5 


下 面 的 例题 将 介绍 重要 的 交织 技术 ,这 是 一 种 能 够 提高 码 纠 正 突 发 错误 能 力 的 简单 方法 。 
( 男 见 习题 7.32。.) 
例 8.18 BRE Rela) ax + x t +1 949(7,3) Abramson SOLA 8.16), C b=2 PA, 
了 和 C 是 这 个 码 中 的 任意 三 个 码 字 ,我们 可 以 将 它们 表示 为 一 个 3x? 了 阵列 : 
Ag Ay Ara Ay Ag As Ag 
Bo By B> By; By Bs Bs 
Ca C Cs Cs Ca Cs Ca 
下 面 的 长 度 为 21 的 矢量 ,是 通过 按 列 读 上 面 的 阵列 而 得 到 的 ,被 称 为 ABH CHR: 
An Bo Co Ay B) Ci A> B> C3 Ay By C3 Ag Ba Ca As Bs Cs As Be Ce 
慨 设 这 个 长 码 宇 通过 一 个 突 发 信道 传输 ,并 这 到 了 一 个 长 度 为 6 的 突 发 ,用 # 表示; 
Ag Bo Co A By; C1 A» By C Ay * 玉 + + * + Bs Cs As Bs Ca 
纠正 这 个 突 发 错误 是 可 能 的 ,只 要 通过 简单 的 “ 解 交 织 ” ,将 这 个 长 硒 宇 恢复 为 它 的 单元 码 
字 ,因为 解 交 织 后 ,这 三 个 码 字 中 每 个 码 字 所 肖 突 发 的 长 度 都 不 超过 2: 
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Ap Ay Ad Ay * * Ae 

By By B; * * Bs Bs 

Co Cy Ca * * Cs Cs 
这 个 码 自 念 了 (7 .31Abramson 85 FEE 3 4 Ab 65 BA SJ RE ER RAR ALR RH 
3 的 变 织 码 。 它 是 一 个 (21,9) 线 性 码 ;前 面 的 论证 说 明了 它 实际 上 是 一 个 纠正 b= 6 k £ 
ae, Bim AER ES j,(7,3)Abramson 码 的 深度 为 j WJ RR (7, 
3 门 ,纠正 二 =21 长 突 发 错误 玛 。 注 意 这 些 码 都 能 使 Reiger 界 中 的 等 式 成 立 ( 因 为 r= 47， 
b =21)) ,因此 可 以 确定 , 码 经 过 交织 后 并 没有 损失 效率 . 
直接 推广 例 8.18 中 的 论证 ,就 得 出 了 下 面 的 重要 算 理 。 


定理 8.11 如 末 CC 是 一 个 囊 正 上 长 突 发 错误 的 (n, 上 线性 码 , 则 CL 的 深度 为 了 的 交织 码 下 
— P| E bj KR ARABIA (nj, 45. 
如 果 我 们 交织 一 个 循环 码 到 深度 j, 得 到 的 码 还 是 循环 的 。 这 个 结论 最 然 不 易 直 接 看 出 ， 
(AAAS. 下面 的 定理 清楚 地 证 明了 这 一 上 后。 

定理 8.12 wRCE—A(n, k MERG, AA ER SRA g(x*), 则 人 的 深度 为 的 交织 码 
是 一 个 (而, 后 ) 禧 环 码 , 它 具有 生成 多 项 式 g(x )。 
证 明 :; 为 了 证 明 这 沾 定理 ,我 们 引入 符号 只 "表示 交织 操作 。 因 此 交织 j PBFOE.C., 
C _| 得 到 的 和 失重 表示 为 C, ° C, Ce Co 一 个 简单 的 引 理 {证明 eT 38 8.65) PLIA T 4 
fori} L S oe AE 69 a PS 4 ; 

[Co 2C) 2... 2 C 4] = (CF, ¿Co 2... 2 Cj] (8.10) 


式 {8.10) 征 明了 一 个 循环 码 的 深度 为 j 的 交织 码 也 是 循环 的 ,因为 如 果 CG. G, C. < 
一 休 给 定 循 环 码 中 的 码 字 , 则 CO ,Cy 也 是 。 由 于 交织 后 磺 的 元 余 是 7, CHE 

成 多 项 式 将 是 惟一 的 次 数 为 可 、 首 项 系数 为 1 的 码 多 项 式 。 如 果 g(x) 是 原 码 的 生成 多 项 

式 ,那么 交织 后 的 码 字 [gf(x702 20] 是 多 项 式 gd), PARR j, B g(x ) 一 定 是 交 

3 织 码 的 生成 多 项 式 。 

例 8.19 MER SRA p(xr)= x + x) + x? +1 RB. b =2 09(7,3) Abramson 砚 出 发 ,利用 交织 
技术 ,就 可 以 生成 一 类 无 限 的 纠正 突 发 错误 循环 码 集 , 即 具 有 生成 多 项 式 g(x) = x + 
tatl Bb = 25 OCT, 37), KI MA 8.17 中 局 =3 的 (15,9) 循 环 码 出 发 ,可 以 
得 到 男 一 类 无 限 码 集 , 即 有 具有 生成 多 项 式 g(a) aap tat ot +1 且 56=3j 的 (157， 

| 9j) MR, i k 3 2 P ARAN 7 Reiger 界 (定理 8.10 的 推论 )。 

f P8.20 #8 b=1,2,°,7N nal 694 ER R RRE h] ph 85. 

i & Fi k b ATEA b Ë, RAF) B ( ) Abramson JP ( r, ) 5 Reiger 界 (ra), 列 出 所 需 

元 佘 的 下 界 。 在 每 种 情况 下 恰巧 都 存在 一 个 树 环 码 , 它 的 完 祭 等 于 max( r, , ra ) RPA 

出 了 每 种 情况 下 这 样 一 个 码 的 生成 多 项 式 el) 我 们 已 经 考虑 了 了 = 1.2,3 的 情况 ; 

b =4 的 情况 留 做 习题 8.58。 为 了 得 到 b=5 的 码 , 利 用 定理 8.12, 将 g(x)= ++ 

(3,1) 重 复 码 交 织 到 深度 3。 上 4 =6 的 情况 留 做 习题 8.60。 最 后 ,b=7 a OL ah MJ 35 6 

n=15 F £ 4, 
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b ra ii gtx) x * 
l ] d E x+ x+] ix ARS 
2 5 á (@+x+1)(x+1) Abramson 14 P 8.16) 
3 6 É Cette xt lita? + x+]) P| 8.17 
4 7 B Cate at lL Cate sl+ atta 4) 2] i 8.58 
5 8 JO (mr+xz+1)(z2 + etd ett xt eda 4 4) (3,1})322% x 5 
6 9 12 (xitxrtl)ixttat+ r+ x+ lr + Dae Fat + oh + 2 +1 “JE 8.60 
7 IO l4 xp Pa dtl BRIS 


如 果 将 表 8.4( 或 者 通过 特殊 的 代数 方法 以 及 计算 机 手段 而 建立 的 更 大 规模 的 表 ) 中 列 出 
的 码 与 交织 技术 结合 起 来 ,就 可 以 产生 许多 好 的 纠正 突 发 错误 循环 码 , 事 实 上 ,实际 中 用 到 的 
一 些 纠正 罕 发 错误 但 就 是 道 过 这 种 方法 构造 的 。 伍 是 还 有 另外 一 种 截然 不 同 的 称 为 Fine 码 的 
方法 ,利用 它 设计 纠正 突 发 错误 码 同样 取得 了 很 大 成 功 。 现 在 驶 来 介绍 它 。 

Fire 袜 在 很 多 方面 不 刹 于 我 们 曾经 研究 过 的 纠正 罕 发 错误 码 。 最 重要 的 区 别 是 Fire 码 能 
够 愉 测 许多 因 错 误 过 多 而 无 法 纠正 的 突 发 错误 。 下 面 给 出 了 强 纠 正 突 发 外 误 色 的 定义 。 

ES ”一休 生 成 多 项 式 为 g(x) 的 (nn, 上) 循环 码 , 被 称 为 强 纠 正 b 长 突 发 错误 码 的 条 人 忻 

是 :如 果 两 个 突 发 错误 矢量 ño Z, 具有 相同 尾随 式 , 分 别 具 有 突 发 描述 {图案 1, 位 置 1) 

和 (图 案 2, 住 置 2), 并 且 满 足 图 案 ] 的 长 度 + BRAN KR Kb WAZ = Z, 


下 而 的 定理 证 明了 强 纠正 突 发 错误 码 能 够 同时 纠正 和 检测 突 发 错 读 。 


定理 8.13 wECHE—-+RA E b KARR, MANTRA b. = b, R. b, + b, =26 
by tt Ee — tae HARALD, 和 b,, BTML CH TESS P| EPI A K E =< b, WRK, 
Mate aK =< b. HRA. 

ER FRESE 7.4 PRP EE RRREBH 2 3. S| Aq Hik PAH, AMM ALE 
eK ab WERBRES SFRERR = b, 的 突 发 错误 集合 。 则 和 如果 Z S E, 
LEF, Wik Z. 和 了 的 罕 发 揪 述 满足 图 案 1 的 长 度 二 8 BRIHKAKD,. HH 
b + b, =28, 根 据 强 纠正 5 长 突 发 错误 码 的 定义 ,ZI 和 ZT 具有 不 同 的 伴随 式 。 因 此 根据 
定理 7.4, 码 C 具 有 上 面 所 述 的 能 为 。 


例 8.2014 大 多 数 纠正 上 长 突 发 错误 码 , 和 包括 表 8.3 PHA US BRR. Hie, eR 
b = 244(7,3) Abramson 43, ë #4)--HRBRER TAR, 


J a @ œ at @ m 
. ot Te 





正如 我 们 在 例 8.16 中 所 介绍 的 ,在 GF) P,a +a 4150. EPR BA EAR T E = 
2 的 突 发 ;但 是 它 却 不 能 纠正 所 有 长 度 记 1 的 突 发 ,同时 又 检测 所 有 长 度 生 3 的 突 发 ,天 


5 
(t 
] 


为 ,例如 ,错误 图 案 (1110000) 与 (0000010) 具 有 相同 的 伴随 式 , 即 | |. (见习 题 8.68.) 


例 8.22 KARA E b 长 突 发 错误 码 一 个 退化 的 例子 ,者 虐 生 成 多 项 式 为 x* 一 1 的 (n,0) 无 
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信息 "循环 码 。 该 个 码 只 有 一 个 码 宇 {全 零 码 宇 ), 它 不 能 传递 任何 信息 ;但 是 所 有 的 错误 
图 案 都 具有 不 同 的 伴随 式 , 因 此 它 是 一 个 强 纠 正 nn 长 实 发 错误 码 。[ 这 个 码 将 作为 下 面 
定理 8, 14 推论 中 所 定 闵 的 一 类 三 的 构造 宰 块 ,) 类 似 地 , 慨 设 n 是 奇数 , 则 g(x) = 
Ce" +1)/(x+1) 的 (n,1) 二 进 制 重复 硒 是 一 个 强 纠 正 b 长 错误 码 , 其 中 5= (n - 1972. 
( RJ 38 8.66.) 

下 面 的 定理 给 出 了 一 种 通用 的 强 或 者 弱 纠 正 3 长 突 发 销 误 循环 码 的 构造 方法。 


定理 8.14 (Fire 构造 法 ) 设 g (x)2£ — (ni, k MAERA Eh AA RACE ) A E 
b， 长 突 发 错误 码 , g(x) 是 一 个 (nn ,ki ) 循 环 硒 的 生成 多 项 式 , 且 g(x) 的 所 有 不 可 约 因 
AMR Bem BSI g(x) 与 (eo) ARMA, M| glx) =e, (adele) e—-T(n, k) 
循环 三 的 生成 多 项 式 ,该 码 是 一 个 ( 强 ) 纠 正 b 长 突 发 错误 码 , 其 中 : 

n= lem{ni, 42) 

k = n — deg( gı) — deg( 22) 

b = min(b;, m, Or + 19/2) 
WEAR : R48 2 FF B. Ila) g (ala — 1,7 g(x) la® — 1, BA x — 1 #e x": -] 都 能 整除 
-1,4 b n=len(n,.n.), AAA g (x)5 od BRM gla) = gkg al -1, 
根据 定理 8.3(b),g(x) 生 成 一 个 (n k MIR, HB Phan - deg( g) = n - deg(g,) - degle, )o 
以 上 结论 的 证 明 非 常 窜 易 。 本 定理 证 明 的 关 狂 ,是 关于 这 个 码 纠 正 突 发 错误 能 力 的 论断 。 
我 们 将 假定 gi (x) 生 成 的 码 是 强 的 ,然后 证 明 其 所 生成 的 更 长 码 也 是 强 的 。 有 关 能 
gifx) 的 证 明 留 做 习题 8.69。 


因此 邻 生 成 多 项 式 为 g(x) 的 反 环 码 , 具 有 长 度 为 于 且 伴 随 式 相同 的 两 个 错误 矢量 Z, 和 
Z. ,这 两 个 错误 秋 量 的 突 发 描述 ( 己 ,i) 和 ( P,, 门 满足 P 的 长 度 + P, 的 长 度 和 2b。 我 们 
需要 证 明 Z, = Z, o 
用 P(x) 和 P,(x)k FS A E 2 B| E 65 E Q h k. s AFE AK KR Z, EZ HERS 
数 分 别 是 TwPp (x}], 和 [xP,(x)],, 所 以 剩余 伴随 式 为 [| xP, (x)], mod g(x) 和 
[wpP,(z)] mod g(x): 但 是 由 于 g(x)1x" -~ 1, 根据 引 理 1(e), 这 两 个 伴随 式 实际 上 可 以 
EA: 
Si(x) = x'Pi (x) mod g(x) 
Sx) = x! Pa(x}mod g(x} 
因为 假定 Z 和 Z, 具有 相同 的 伴随 式 , 所 以 有 : 
Pi (x) = x/Potx) (mod g(x)) (8.11) 
LAA g(x) =g (a) g(x) FAR: 
x'P\(x) = x/P2(x) (mod gi(x)) 
EBI, P 的 长 度 + 亚 的 长 度 壹 28 ,而 根据 目的 定义 ,25 运 26 又 因为 z (x) DL) 
是 -一 个 强 纠正 二 长 罕 发 错误 码 , 考 虑 g(x*) 所 生成 的 循环 码 , 错 误 关 量 和 五 是 相同 
的 , 即 ， 
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x'Pi(x) = x!P,(x) fmodx — 1) 
E P, y K Bi + P, hi K Pi =2b= n +1, 因 此 根据 定理 8.7， 
P, = P; (8.12) 
i=} (moda) (8.13) 
根据 这 个 结论 , 式 {8.11) 意 味 着 ， 
(x PPA)=0 (mod g2(x) (8.14) 
但 是 2. PP 的 长 度 志 25, 因 此 P (x) 3 b-1, CALF ml gylx) 因 式 的 最 低 次 数 ] 
的 。 固 此 Pi(x) 和 g(a) BR, TAMA (8.14) POR PL (x) FEA: 
x'—x/=0 (mod m(x} (8.15) 
但 是 因为 序列 x' mod gfz) 具 有 周期 m, (8.15) BRA i=j (mod n), 3832 48 f tf 25 
AG. BEA, BA AEG n =lcm(n sm h RANA i=j(med n); 但 是 因为 2 #e j m) Z B) 
RHO on -1, 所 以 得 出 1= 六 因为 我 们 已 经 证 明了 P, = P;, 可 以 得 出 错误 矢量 Z, 
fo Z, 是 相同 的 结论 ,定理 证 弟 。 
推论 {经 典 Fire 码 ] ela) a (a? Da RP (RAH O T y SRA, BER 
ep aR, CHAE me b, MAA nos M] BE0z) 是 一 个 强 纪 正二 长 突 发 错误 的 
(n,n-2b+1-m) 循 环 码 的 生成 多 项 式 ,其 中 又 =]lem(248 一 1,no)。 为 纪念 它 的 发 现 者 
Philip Fire ,这 个 码 被 命名 为 Fire 码 。 
证 明 : 通 过 令 e (0) = (x 1 一 1) 和 gy{x)= f(x)[ 在 例 8.22 中 我 们 看 到 g(x) ERB 
是 一 个 强 到 正 5 长 突 发 错误 码 ], 由 定理 8.14 可 以 直接 得 出 这 个 结论 。 

例 8.23 械 据 定理 8.14 的 推论 ,g(x)= (x +1)(x +x+1)= x + x + x + 1 HAA 
码 是 一 个 (21,15) 强 纠正 b = 2 长 罕 发 错误 Fie SB, BTR Ra — PERS, H 
PRK E <2 ORR RAHENA K R < 1 ORK ,并 检测 所 有 长 度 和 3 的 突 发 ;或 者 
检测 所 有 长 度 和 4 的 突 发 。 注 意 这 个 码 既 没有 达到 强 Abramson 界 , 也 没有 达到 Reiger 7; 
ik #| iz th Fh ay 28, YL $K A IR EE RR 85. 3 ope BRB ye (x)=x' +x ext l 
DER T b=? 65(85)(7,3) Abramson 85 |fe g, (x) = xy tl, E 9 8.14 意味 着 p(x) = 
gx) g(x) EER ABS) 21, 15) AE b= 2 RRA BRA. 但 是 gi (x)g,(x) = x° + 
yt + x+ 1,38 HI BRAT SRA ZG! 

例 8.24 多 项 式 P.(x)= x tare tw l £ — 8 35 KARAM SAA, 因此 根据 定 
理 8.14 的 推论 , g(x) = ( yË +1)P,(x)= xz? + x £ xP + x2 + x” 
生成 一 个 =7 的 强 循环 {13(23 - 1), 13(22 - 1) - 48) = (446 676 598 771,446 676 598 723) 
Fire 8. ik S FPR 05 Fire 码 非 常 著名 ,因为 IBM 在 它 的 很 多 磁盘 驱动 器 中 使 用 了 该 码 的 
“缩短” 形式。 什么 是 缩 组 循环 码 呢 ?一 般 来 讲 , 如 果 ox) MARA HERO, 
n- rR, UTEE man, glathik ERAO n ng r) AS 这 个 码 包 
SAKA n E R BRC ed) g(x MERI KE C. IBM 所 用 Fire 2569 m = 152 552, 
因此 该 码 实 际 上 是 一 个 缩短 的 [152 552, 152 504) RPE b=7 辩 突 发 错误 循环 码 。IBM 的 


pig Pg gh pg? + 
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译 码 器 设计 非常 保守 ,只 纠正 所 有 长 度 和 4 的 突 发 ,因为 该 码 是 强 的 ,所 以 它 同 时 具有 检 
mt A K E < 10 突 发 的 能 力 。 热 而 ,因为 这 个 码 被 大 幅度 地 缩短 了 ,通过 计算 机 辅助 计 
算 可 以 证 明 ,IBM 译 码 器 实际 上 能 够 检测 所 有 长 度 <<26 的 突 发 错误 图 案 ,以 及 一 部 分 更 
长 的 突 发 。 
我 们 以 一 个 简单 的 表 ( 表 8.5) 来 结束 本 节 。 该 表 列 出 了 一 些 有 用 的 二 进 制 Fire 码 。 这 些 
码 都 有 g(x)= (x) + 1) P, (x), EP P(x) 是 一 个 b 次 本 原 多 项 式 。 因 此 元 余 就 是 r = 38 -1， 
WARS Abramson 界 和 Reiger 界 所 需要 的 污 余 一 般 比 这 个 值 小 ,但 是 显然 这 些 “ 和 额外 "的 元 余 是 
为 了 使 码 上 共有 强 纠 正 突 发 错误 能 力 所 必 须 村 出 的 代价 。 
B85 一 些 Fire 码 


nk) b 生成 第 项 式 
(35,27) 3 (+l) + x+l1)= r+ State ctl 
(105,94) A fated) (ate ee Dew rz p xq yta x+] 
(279,265) 5 Catt atta T dba st + lt ta s q w+] 
(693,676) 6 (al y l1)( b 2 x +1)= x + xl elt cht x+ 
(1651,1631) 7 Cab + eate a+ daa tatta pal tel 
(295,732) R feb e1ila® a ate ag cP thr ari ar a l a Pe ata ta te ctl 
(8687,8661) 9 Cal abet atlar + + z 4 at +h 
(19437,19408) 10 Ca +1) a tzi tla te Oe Oe +l 


8.5 ZHIF3Z Të 48 A R5 HB EE SB 


T 8.2 节 中 我 们 看 到 如 何 设计 任意 循环 码 的 移 位 寄存 编码 器 。 通 常设 计 相 应 的 详 码 器 更 
为 困难 ,但 是 对 于 重要 的 纠正 突 发 错误 循环 码 来 说 ,存在 一 种 被 称 为 宪 发 祖 获 彰 法 的 简单 译 码 
算法 , 它 很 适合 于 通过 移 位 寄存 器 实现 。 在 本 节 中 我 们 将 介绍 突 发 捕获 的 工作 原理 。 
基本 思想 是 这 样 的 。 设 g(x) 生 成 了 一 个 (n, 上 循环 码 C ,假设 发 送 C 的 一 个 码 字 C(x), 
接收 为 R(x), 其 中 ， 
R(x) = C(x) + Ex) 
E(x) ERAS. WRASSE TE YE E X 
S(x} = Rid moed g(x) 
计算 剩余 伴随 式 S(xz), 则 由 R(x) 减 去 SCz) 所 得 到 的 矢量 , 即 ， 
Ctx} = R(x) 一 S(x) (8.16) 
一 定 是 一 个 码 字 。 这 是 因为 C(x)mod g(x) = R(x)mod g(x)— S(z)mod g(x) =0, 因此 如 
果 码 C 能 够 纠 下 集合 E 中 的 所 有 错误 , 且 S{x) 属 于 集合 E , 则 译 码 器 就 能 够 可 靠 地 判定 (xz) 是 
实际 发 送 的 码 字 ,原因 是 其 他 人 码 字 与 RIx) 相 差 的 错误 图 案 都 不 在 5 中 。 这 一 点 对 任意 御 环 但 
都 成 立 。 现 在 我 们 考 虚 纠 正 突 发 错误 循环 码 的 特殊 情况 。 
假设 码 C 是 一 个 纠正 5 长 突 发 错误 码 , 且 伴随 式 5S(x) 满 足下 面 两 个 条 件 : 
S(0) Z 0 


deg(S(x)) = b— 1 (8.17) 
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XA ERA See TATE < b 的 突 发 ,因此 根据 上 商 的 讨论 , 译 人 码 祷 能 
够 可 靠 地 判定 式 (8.,16) 中 定义 的 C(x) 是 实际 发 送 的 码 字 。 因 此 如 果 和 伴随 式 满 足 式 (8.17), 译 
et BT. SRR, AA RAR PRA OS RHA OH, 

(RAS OE. R s | RB Py IEE” , BD SS eH tE u BOO 2b, tB uj LAR A X Py 
单 的 设计 思想 。 上 有 具体 方法 是 :如 果 错 误 矢 量 E(x) PRE < 的 非 零 突 发 , 则 请 (x) 具 有 
惟一 的 形式 为 (P{x), is) 的 描述 ,其 中 P(0) 关 0 且 degl P)<= b - 1, MM E(x) =[x° P(x)1,,WI 
剩余 伴随 式 为 ， 

Six) = [x PO] mod g(x) 
其 中 g(x) 是 码 的 生成 多 项 式 。 图 8.9(a) 描 述 了 这 种 情况 。 我 们 已 经 涪 过 ,如 来 突 发 在 位 置 0 
kh Blan i, =0, i Sir) Pls), RER RT We WS, (ARE i0, PAR EC x) 
循环 石 移 , 直 到 突 改 图案 P(x) 被 循环 到 位 置 0 处 ,或 者 说 在 位 置 0 AE EAR” ,如 图 8.9(b) 中 
所 示 。 为 此 所 需要 的 循环 移 位 次 数 是 惟一 的 整数 六 ,其 范围 在 0 过 六 二 mn -1 并 满足 i + fy = 
OCmod n), Bl 
jo = (— io) mod n 
现在 如 果 R (x) RAK R(x) 的 第 jj 次 循环 移 位 ,我们 有 : 
R,,(x) = Chlx) + Ei(x) 


其 中 C, (z)8 E, (*) 分 别 对 应 C(x) 和 E(x) 的 第 ji 次 循环 移 位 。 现 在 因为 码 是 循环 


如 


AY, Pi LA C 《%) 是 一 个 码 字 ,而 根据 jo 的 定义 ,EE (x) = P(x), AER 5;(%) 表 未 R(x) 的 
剩余 伴随 式 , 我们 有 ， 
S (x) = R(x) mod g(x) 
= (C, (x) + E ,(x)) mod g(x) 
= P(x) 


这 意味 着 S (x) 满 足 条 件 (8.17) 式 ,因此 根据 定义 ， 
C, (x) = R, (x) — S; (x) 
译 码 器 能 够 可 靠 地 断定 C. (a ) 是 实际 发 送 码 字 的 jo 次 循环 移 位 。 


(a) 


P 
ie 


Eta) S(x FL PCr], mod 8) 


iy 
(h) 


P 
E= 


n) 


图 8.9 {a) 突 发 错误 矢量 E(x)=[ xb P(x)]n。(b) 将 EAB jo TEREP ja = (n - io )mod n], 
错误 图 案 被 “捕获 "在 位 置 0 处 ,相应 的 律 随 式 Ptx) 是 一 个 左 对 齐 长 度 <b -1 的 突 发 
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因此 如 果 译 码 器 连续 计算 Sotx) ,Si1(x),… 并 检查 每 个 多 项 式 是 否 满 足 条 件 (8.17) 式 ， 
就 可 以 最 终 * 捕 获 " 罕 发 错误 并 纠正 它 。 实 际 上 , 突 发 错误 图 娄 可 以 由 S. (x)28 th, P 
误 位 置 可 以 由 公式 记 =( -jo)mod mm 给 出 ,其 中 因 是 捕获 错误 所 需要 的 移 位 次 数 。 现 在 就 可 
以 利用 这 些 思想 来 设计 一 个 相当 简单 的 译 码 此 。 但 是 在 此 之 前 我 们 希望 指出 ,通过 利用 下 面 
的 结论 ,可 以 很 大 程度 上 简化 S (x) 的 连续 计算 ，。 
定理 8.15 【Meggitt 引 理 ) 对 于 je 0, 2X 
S(x) = [x R(X)] ns mod g(x) 
BPS (x) 是 Rx) Bj KARBEQAS EMA. MAS F i200 
Sy 1(x) = [XS mod g(x) 


证 明 : 首先 注意 根据 引 理 1(e), 因 为 g(x)l|x"-— 1, PTA 
Sx) = [xi R(x) mod g(x) 
则 
[xS;(x)] mod g(x) = [x([x R(x)] mod g(x))] mod g(x) 
= [x/ RO)] mod g(x) S| BI) 


一 ti(x) 


例 8.25 vA z(x)= x+ x) + x° +1,b=2 的 (7,3)Abramson 码 为 例 RAE. TH ZE 

收 秋 醒 为 及 = [010011], PP R(x)= x + ° +x tlo M) S,(x)= R(x) mod g(x) = (x° + 

y'+ x` Dmir tz +m + 1)= x` + x, FA Meggitt 引 理 , 继 续 计 站 S. (4x4), 8,00), 

+=: 

Si(x) = [xSo(x)] mod g(x) 
= (x* + x`)mod(x t + x` + x” + 1) 
= x° +] 

关羽 地 ， 

Sx =x 4 x 

S3(x) = (x? + x2)mod g(x) = x 41 

Sa(x) = (x + x) mod g(x) = Xx 十 x 十 x 十 1】 
Ss(x) = (xt + x? + x? +x)mod g(x) = x + 1 

现在 因为 5,(x} 满 足 条 件 (8.17) 式 ,我 们 停 住 计 算 , 并 得 出 结论 : 突 发 错误 图 案 为 11, 突 发 

错误 位 置 为 (-5)mod 7 = 2, B|] kE 4 k È E= [0011000], 纠 正 后 的 码 字 是 RR+E= 

[100]011 J. 

图 8.10 给 出 了 一 个 纠正 5 长 突 发 错 谋 循环 码 的 完整 译 码 算法 ,包括 根据 Meggin 引 理 所 
进行 的 简化 。 在 这 个 算法 中 ,首先 在 第 3 行 计算 出 伴随 式 5S,(x)。 在 第 4 行 至 第 8 行 的 for W 
环 中 ,连续 检测 移 位 后 的 伴随 式 S,(x), S1(x),…, 5,.1(x*) 是 否 满足 条 件 (8.17) 式 。 如 果 满 在 
这 个 条 件 ,就 在 第 6 行 纠正 突 发 错误 。 然 后 在 第 7 行 完成 接收 码 字 的 下 一 个 循环 移 位 总 ,Cs)， 
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并 在 第 8 行 ( 和 用 Meggitt 引 理 ) 计 算 下 一 个 伴随 式 5,.1,(x)。 经 过 nn 次 循环 之 后 ,在 第 9 行 输 
出 接收 到 的 原始 字 减 去 突 发 错误 图 案 所 得 的 差 。( 如 果 没 有 错误 ,这 个 算法 也 能 芽 作 ;参见 习 
MM 8.75.) 


/** Burst-Error Trapping Decoding Algorithm **/ 


input R(x); 
Ro(x) — R(x); 
So(x} + Rx) mod g(x); 
for (j = Ü to n -— l) í 
if (S(0) Z 0 anddegS(x) = b — l) 
Rx) — RAx) — Sx); 
R, (x) — [=R (x)| mod x” — 1; 
Sa (x) — [xS.(x)] mod g(x); 
f 


output R lx) 


Co < OR n e Cu ka PG 


WO 


8.10 H TRARIA" Sie Ah RAR uE i P 1 


图 8.10 所 述 的 译 码 算法 适合 于 用 移 位 寄存 器 逻辑 和 搓 现 。 在 图 8.11 和 和 图 8.12 中 ,以 两 个 
不 同 的 纠正 突 发 错误 循环 码 [ 例 8.16 中 5=2 的 (7,3)Abramson 5 AB 8.17 F b = 3 B9(15,9) 
码 ] 为 例 进 行 说 明 。 
SO Oped Oye 


Ne 
* 前 7 个 时 钟 周期 ， 闭 合 > 前 7 个 时 钟 周期 ， 断 开 
“后 7 个 时 钟 周期 ， 断 开 T T 后 ?个 时 钟 剧 期， 闭合 


一 e HO He EH 
A Ph 

图 8.1] glee x + x! + x 4+1,6=2 (7,3) Abramson 45 (LG 8. 16)BJ SE 86 6 t HB, PE ç 

经 过 14 个 时 钟 周期 之 后 , 译 玛 完成 , 译 玛 后 的 码 字 出 现在 下 面 的 寄存 器 中 






— a= 
| 
k 


mod gix) RFF 


100… CHa 88 


BOIS Sb BA: Bt 
J 1574 AeA: Bia 


前 15 个 时 种 周期 : AS 
Rist Ae: A 






p` 





图 8.12 glr)=x + tri +e + 1,b=38B(01,9083F85( u m 8.17) 的 完整 译 码 电路 简 
化 图 ,经 过 30 个 时 钟 周 期 之 后 RES k, PEEB m BB SF. ih SEE ea 48 P 


在 图 8.11 和 图 8. 了 2 的 译 码 电 路 中 主要 有 三 个 部 分 :一 个 mod g(x) 移 位 寄存 器, 一 个 mod (x" - 1) 
移 位 寄存 器 (位 于 图 的 下 方 ) 和 一 个 用 来 纠正 这 两 个 移 位 寄存 器 内 容 的 “100…0 识别 器 FB, 
路 。 初 始 时 , 每 个 触发 器 的 内 容 都 是 0, 开关 4 处 在 闭合 的 位 置 , 开关 B 处 在 断 开 的 位 
置 。 接 收 矢量 中 的 符号 以 顺序 Ris Ria. Ro 从 左 侧 按时 钟 节拍 输入 。 经 过 n 个 时 钟 周 
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期 之 后 ,图 中 上 面 的 移 位 寄存 右 内 容 是 S,(x) = R(x)mod e RHEE 8.4), PRE u 39 
TRAFE Rox), WALK 4 断 开 , 开 关 B 闭合 ,图 中 上 面 的 称 位 寄存 器 通过 100…0 识别 
主权 下 面 的 移 位 寄存 厚 连 接 Pelo ari LTE n 个 时 钟 局 期 。 我 们 称 这 n 个 时 钟 周 期 为 译 码 周 
期 。 在 译 码 周期 的 第 j 个 时 钟 周期 之 后 ,图 中 .上 上面 的 移 位 寄存 器 内 容 是 [wSo(x)]mod g(x) = 
S (x) ,下 面 的 称 位 寄存 器 内 容 是 [wR(x)], = R(x)。 如 困 满足 条 件 (8.17) 式 , 则 上 面 寄 存 右 
中 最 左边 和 甬 发 需 的 内 容 将 是 一 个 1 ,而 最 右边 的 r - 总 个 触发 器 内 容 和 将 全 部 为 0。 这 会 使 100…0 
识别 器 输出 一 个 1, 捕 获 到 的 错误 图 案 S4x) 将 在 下 一 个 时 钟 局 期 内 加 到 R (xz) Eo Æ n +! 
钟 膨 期 之 后 , 译 码 局 期 完成 , R(x) 的 符号 己 经 在 mod( x” - 1) 寄存 器 中 整整 转 了 一 圈 , 回 到 它 
们 蛛 来 的 位 置 ,其 中 的 突 发 错 庄 已 经 到 下 。 

总 的 来 说 ,类 似 于 图 8.11 和 图 8.12 中 的 这 些 电路 被 称 为 “全 时 钟 局 期 循环 " 译 码 器 。 它 
们 恰好 需要 2n 个 时 钟 周 期 来 纠正 长 度 三 的 任意 突 发 ,硬件 复杂 度 为 0(tn)。 这 些 电 路 在 实 
际 中 有 着 广泛 应 用 。 但 是 对 于 太 幅 度 缩 短 的 纠正 罕 发 错误 循环 碍 ( 见 例 8.24) ,可 能 需要 对 这 
个 电路 进行 修正 ,见习 题 8.77. 


习题 
8.1 证 明 域 GF(g) 上 一 个 ” 维 矢量 空间 的 上 维 子 空间 中 矢量 的 数目 为 


(q7 — Ng”! = 1) gt tt 1) 
(q — IXg*! — 1} ---(¢@- 1) 
Ff Fl FA ZS RE EE 11 811 个 二 进 制 (7,3) 线 性 码 。 
8.2 完成 下 列 计 算 ; 
(a) 10° mod 12 


(h} M mod( x” — 1) 
(e) Ca? -1)mod(z -1) 
8.3 “mod "运算 满足 结合 律 和 /或 交换 律 吗 ?y 即 下 列 公式 是 否 普遍 成 让 ? 
(P mod Q)mod R = Pmod(Qmod R} 
Pmod O = Omod P 
8.4 if me 10,1,- n - 11 We SAI m= Ci - j)mod n AY, (j + m)mod n = is 
8.5 (a) ERAS HE 1(a)。 
(b) 证 明 引 理 1{b). 
(e) HEARS EB l(c), 
(d) 证 明 引 理 1{d). 
(e) 证明 引 理 1te)。 
8.6 证 明 : 如 果 C 是 一 个 循环 码 , 日 C(x)EC, 则 对 于 所 有 的 is1, 均 有 x C(x)mod( x" — 
1)EC。|[ 提 示 : 利 用 引 理 1d. } 
8.7 6F{3} 上 的 一 个 (8,4) 循 环 码 , 其 生成 多 项 式 为 g(x) = (s +1)(x + + 1), 请 号 出 
它 的 G, 和 H, 和 矩阵。{ 参 见 定 理 8.3 的 推论 1.) 


- BA ad 下 `` | 
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8.8 CF(3) 上 的 一 个 (8,4) 循 环 码 , 其 生成 多 项 式 为 g(x) = (x + 1) + x+1),W 53 iD 
TH) G, 和 H, ERE, (2 UE 8.3 的 推论 2.) 
8.9 (a) 设 一 个 (n,) 循 环 码 具 有 一 独 校 验 名 项 式 h ( x) CAR -RRBSMA 
h(x)) ,证明 其 生成 抢 阵 和 一 臻 校 验 答 阵 具有 刀 下 形式 : 
G = [vA CA) 
H = x CFT) 
(b) 设 一 个 (7,3) 二 进 制 循环 码 的 生成 多 项 式 g(x)= wt + x + x + 1, 利用 上 问 结 
BR TEE HH ACE BE RRR. 
8.10 AS) BY RE EE 8.3 推论 1 PAER Hio 
(a) 定义 矢量 R= (RR ,Ri oR, ERE S 由 计算 S = HR 得 到 。 证 明生 成 
BG Rx) = RtRxt + Rye Sla) = Sat Six+ + S. a x 之 间 
具有 如 下 关系 ; 
S(x) = [R(x)h(x)] mod as [R(x)h(x)] mod x* 
[上 趟 通过 -种 间接 的 方法 说 明了 (so,S ,… S ) 是 乘积 Ra) Ca) Bs", 
x 项 的 系数 ,| 
(b) 设 循环 码 的 生成 多 项 式 为 g(x) = xt + x) +? + LA a SAR R = 
[1001011j 所 对 应 的 A, 矩阵 的 伴随 式 。{ 参 照例 8.7.) 
8.11 证 明 一 个 循环 码 的 对 偶 码 仍然 是 循环 码 。 设 一 个 (n, 上 ) 篇 环 码 的 生成 多 项 式 为 
g(x) ,一 致 校 验 多 项 式 为 h{x), 屠 么 它 的 对 偶 码 的 生成 多 项 式 和 一 致 校 验 多 项 式 
名 是 什么 ? [提示 :参考 定理 8.3 的 推论 1。] 试 写 出 俩 8.2 和 例 8.4 中 循环 码 对 偶 码 
的 生成 多 项 式 和 一 致 校 验 多 项 式 来 验证 你 的 扩 论 。 
8.12 以 生成 多 项 式 g(x) 2 +2 售 式 的 形式 , 写 出 例 8,3 中 (4,2) 循 坏 码 的 9 个 码 字 。 
8.13 本 习题 要 求 在 不 同 的 约束 条件 下 ,计算 码 长 为 7.、 码 字数 为 16 的 二 进 制 分 组 码 的 
数 日 。 
(a) 这 类 码 共 有 多 少 个 ? 
(b) 这 类 砂 中 线性 码 共 有 宗 少 个 ”? 
(e) 这 类 码 中 最 小 距离 du = 3 的 线性 码 共 有 和 多少 个 ? 
(d) 这 类 码 中 循环 码 共 有 煞 少 个 ? 
(e) akin hi EB SS da = 3 的 循环 码 共 有 多 少 个 ? 
8.14 考虑 利用 一 个 生成 多 项 式 为 g(x) = x +x+1 的 (7,4) 循 环 汉 明 码 纠 正 删 除 衬 各。 


中 于 该 码 的 最 小 距离 为 3, 我 们 知道 它 能 够 纠正 包含 不 超过 两 个 删除 符号 的 图 案 。 
同时 , 它 也 能 纠正 一 部 分 包含 3 个 删除 符号 的 图 案 。 例 如 ,假设 码 字 C = [1101000] 
在 第 1 位 .第 3 位 和 第 6 位 上 出 现 删除 符 导 , 则 接收 矢量 变 成 了 及 = [1 * 0* 00 |, 
这 样 的 三 个 删除 符号 是 可 纪 止 的 ,因为 在 该 码 的 16 个 码 字 中 ,只 有 码 字 11101000] 
在 非 删除 位 上 与 及 完全 一 致 。 但 是 ,并 不 是 所 有 包含 三 个 删除 符号 的 接收 矢量 都 
可 以 被 正确 译 码 :例如 [ x x O = 000] BEAT LAI X E 1101000] , tE PT LA FE Xy [ 0000000 1. 
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这 就 提出 了 问题 :对 于 包含 三 个 删除 符号 的 | `) = 35 种 可 能 图 案 , 有 儿 种 是 能 够 被 


纠正 的 ,有 玫 种 是 不 能 窒 纪 下 的 ? 
对 于 lan<2, EW n WHEREAS aR? HPA eee ERA? 
码 长 为 63 的 二 进 制 循 环 码 共 有 多 少 种 ”其 中 有 多 少 种 是 非 正 常 的 ? 
Y n E3<n<20 CHARS ALM IR F, EAKA n 的 循环 码 恰好 有 4 种? 
在 域 F, 上 码 长 为 4 的 线性 码 中 ,循环 个 占 多 大 比例 ? 
F, HKD 2" 的 循环 码 有 多 少 种 ”请 写 出 计算 公式 。 
在 域 GF(3) 上 ,多项式 x* -1 可 以 被 分 解 为 x 一 1=(x+1)(x+2)(x + l) (x ` + x + 
Die +2x+1)， 对 于 0s<is<8 范 围 内 的 每 个 大 值 , 求 出 GF(3) F (8, k) IAPR HJ 
个 数 。 
在 例 8.8 中 ,我 们 看 到 对 于 GF(3) 上 生成 多 项 式 为 g(x) = x - 1 的 (4,2) 循 环 码 , 由 
定理 8.3 的 推论 1 和 推论 2 得 出 的 生成 矩阵 和 一 致 校 验 矩阵 是 完全 相同 的 , 即 
6 = G, H, = H,。 坛 找 出 一 类 能 使 这 个 性 质 普 遍 成 立 的 循环 码 。 
设 在 给 定 的 威 p E. ETA x -1 可 以 分 解 为 1 
x" — 1 = ROC Poly? +++ Pala) 

其 中 P(x}) 是 互 不 相同 的 椒 可 约 多 项 式 。 从 ej ,e，，… ey BARRE, IR F ESR 
Non 的 循环 码 共 有 多 少 种 ? 
解释 例 8.9 表格 中 每 个 “注释 "的 含义 。 
证 明 ; 在 威 GF{2) 上 ,对 于 任意 的 melo + x tlic" -1 均 成 并 。 
有 从 种 形式 为 z(x)= xt + gas) + gas + Bg1x+ 上 的 四 钦 二 进 制 多 项 式 , 针 对 每 种 多 
项 式 请 回答 以 下 问题 : 
(a) g(x) 的 周期 是 多 少 ? 
(b) 如 果 用 n 表示 (a) 中 求 出 的 周期 ,那么 相应 铂 环 码 的 上 和 4d 各 是 多 少 ? 
(K. Sivarajan) 试 证 明 当 且 仅 当 一 个 二 进 制 循 环 码 是 正常 码 时 , 它 具 有 纠正 单个 错误 
的 能 力 , 即 该 码 的 景 小 距离 di 230 
在 8.1 节 的 结尾 ,我 们 简单 讨论 了 非 正 常 循环 码 ,也 就 是 那些 生成 多 项 式 g(x) 的 局 
期 小 于 n 的 码 。 在 本 习题 中 ,将 研究 那些 一 致 校 验 多 项 式 周期 小 于 a MS. 
设 C 是 一 个 (n, 上 循环 码 , 并 设 x" -1= ela he) BP g(x) 代表 的 生成 多 项 
式 MR GHEE C 的 一 致 校 验 多 项 式 。 进 一 步 假 设 h(x) 的 周期 ne < mn, 而 Co 十 一 
个 (no VRIES HEREDAN g(x) = (am -1h(x)s 
(a) 试问 Co 的 一 致 校 验 多 项 式 是 什么 ? 
(b) MEH 4, 表示 C, 的 最 小 些 离 ,那么 《 的 最 小 距离 应 该 如 倍 表 示 ? 
(r) GEAR C= (ning) 0,, 这 里 "jC" 表示 将 C, 的 每 个 码 字 重复 j 次 而 得 到 的 长 度 为 

n 的 码 。 
对 于 Tsjs16 范 围 内 的 每 个 了 值 , 试 找 出 生成 多 项 式 为 (xz + 1) 的 正常) 二 进 制御 
环 碍 的 人 码 长 . 维 数 和 最 小 距离 。 [提示 : 可 以 利用 上 题 的 结论 。j 
如 果 g(x) 是 周期 为 上 的 > 次 多 项 式 ,那么 对 于 任意 的 m>1, A g(x)l x” — L. 因 
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此 由 定理 8.3(b) 类 ,g(x 生成 一 个 (nm ,nm - RPS. (3 m >2 时 ,这 个 但 古 非 


正常 的 。) 
(a) 证 明 当 且 仅 当 > Cx "=0(mod g(x)) 时 ,矢量 C=[Co, Cl,…, Cm- A 
于 这 个 码 。 
(b) 证 明 (a) 中 的 条 件 等 价 于 : 
[Co Cyr Ca 1] + iEn Cr 1 


+o + [Cimin Comins dacs Crin—1] 


属于 g(x) 4B a,n- r) ERITEM. 
(e) 在 这 个 码 中 有 和 多少 个 重量 为 2 的 码 字 ? 

8.30 在 图 8.3 中 ,我 们 介绍 了 一 种 多 项 式 g(x) 的 “mod g(a)" BR. WE glx) 的 自 项 系 
EAS Y. EE g(x) = go + gx +" + gx (其 中 gz0,1), 请 问 应 该 如 何 调整 这 个 
电路 ? 

8.31 (a) 试 证 有 明 在 图 8,4(a) 所 示 的 电路 中 ,当前 状态 多 项 式 Stx) 和 下 一 个 状态 多 项 式 

S'(x) 之 问 存 在 如 下 关系 : 
S'O = (xS(x) + sx} mod g(x) 
其 中 s 是 输入 信号。 
(b) 利用 (a) 的 结果 ,说 明 如 果 图 8.4(a) 电 路 的 初始 值 为 so = 3, =…s,-1=0, 并 给 定 
输入 序列 ag. a, ，…, 则 经 过 :个 时 钟 辕 期 后 ,状态 多 项 式 变 为 


Sa) = s ax't f mod g(x) 
8.32 考虑 三 元 域 CF(3) | 的 多 项 式 g(x)= x +2x +2. 
(a) 此 多 项 式 的 周期 是 多 少 ? 
(b) 如 果 用 n 表示 (a}) 中 找 出 的 周期 , 试 写 出 由 g(x) 生 成 的 码 长 为 5 的 德 环 但 的 一 
PREE. 
(e) 该 码 是 否 含有 重量 为 2 的 码 字 ? 如 果 没 有 ,请 解释 原因 。 如 果 有 ,请 将 它们 列 
举 出 来 。 
(d) 请 画 出 该 循环 码 的 系统 码 移 位 寄存 编码 器 。 
8.33 斌 设计 z(x)= y" + x! + xŠ + ° + 1 的 (15,7) 二 进 制 循 环 码 的 三 种 不 同 移 位 寄存 继 
EEIT 
8.34 本 习题 将 讨论 g(x) = x + x’ +1 31,26) BAS. 
(a) 试 写 出 该 循环 码 的 系统 ( 即 [411] 形 式 ) 一 致 校 验 矩阵 。 
(b) 设计 该 码 的 一 种 译 码 电路 。 
(e) 利用 你 在 (b) 中 设计 的 译 码 器 就 下 人 询 接 收 字 进行 伴 码 : 
R = [1111111111110000000000000000000] 
8.35 对 于 由 一 致 校 验 矩 阵 (8.9)} 式 定义 的 (2"” - 1,2" — m — EP, ARR 
重量 为 3 码 字 数目 的 公式 。 
8.36 it g(x) 是 定义 在 q 元 有 限 域 上 的 一 个 r KEAR, H z00) 40. 





PoE ge -—— ree ee fee 一 一 -一 -L" - 





PEE Hh RK A 167 





(a) WAH gx) 的 半期 过 站- 1: 
(h) 证 明 如 果 gz 的 周期 等 于 六 -1 , 则 gtx) 必须 是 不 可 约 的 。{[ 注 释 ; … 个 周期 
为 -1 的 > 次 不 可 约 多 项 式 被 称 为 本 原 客 项 式 。] 
8.37 者 典 生 成 多 项 式 为 g(x) = x*+x+1 的 (15,11) 二 进 制 循环 汉 明 码 。 
(a) 试 写 出 它 的 一 个 4x1S 阶 二 进 制 一 至 校 验 年 阵 。 
(b) 试 写 出 它 在 域 GF(16) F B9— 1 x 15 阶 一 致 校 验 和 矩阵。 
8.38 WEAR: WSR a 是 域 6F(2") 上 最 小 多 项 式 为 g(x) 的 一 个 本 原 根 , 则 w 的 展开 式 为 : 


m—I 
a= 5 ha 对 村 一心 1 n—1 
i=] 


H mx 2" -1 BPM H = (hh;) 是 生成 多项式 为 g(x) ROP BERB Be yB 
Morph iG =0,1,--,m-1,7=0,1,°-°,2" - 2, 

8.39 it g(x) 是 一 个 m 次 二 进 制 本 原 多 项 式 ,FH 是 一 个 (2”--1,2”- m - 1) RAB 
m x 2" -IREI RRR ER. AE H 各 列 的 (2”- 1)! 种 可 能 置换 中 ,有 多 
少 种 是 生成 多 项 式 为 g(x) 的 循环 汉 明 码 的 一 致 校 验 和 矩阵 ? 

8.40 在 表 8.3 中 , 除 m= 1 的 情况 外 ,没有 其 他 重量 为 偶数 的 多 项 式 。 试 解释 其 原因 , 即 

为 什么 偶数 重量 的 多 环 式 不 串 能 为 本 原 光 珊 式 ， 

(循环 汉 明 钵 的 对 偶 码 一 一 也 称 为 狂 环 单 向 码 , 或 者 最 大 长 度 移 位 寄存器 码 ) 设 C， 

是 一 个 (nk){ 正 常 ) 循 坏 友 , 它 的 一 致 校 验 多 项 式 h(x) 是 一 个 上 次 本 原 多 项 式 , 而 

G, 是 定理 8.3 推论 1 所 述 C; 的 生成 矩阵 。 

(a) 试 证 明 m = 2° — 1, 

(b) 设计 C; 的 一 各 有效 称 位 寄存 编码 咽 。 

(e) 说 明 C; 中 非 0 码 字 的 集合 恰好 等 于 C 第 一 行 的 循环 移 位 集合 。 利 用 表 8.3 中 

本 原 多 项 式 x' + x+1 牛 成 的 码 C SE ERE. 

(d) BHC, HERRES. 

8.42 试 给 出 计算 2 - 字符 表 上 长度 为 六 的 普通 ( 即 非 循 坏 ) 罕 发 数目 的 公式 (参照 是 
理 8.8) AP leben, 

8.43 推广 定理 8.8 到 -字符 表 的 情况 。 

8.44 推广 定理 8.8, 使 它 包括 b> (n+ 1/2 的 情况 。 

8.45 推广 定理 8.95 及 其 推论 到 9 - 字符 表 的 情况 。 

8.46 推广 定理 8.10 及 其 推论 ,使 它 包 括 9 - 字符 表 的 情况 。 

8.47 为 什么 定理 8.9 不 包括 5 =0 的 情况 ? 

8.48 为 什么 Abramson 界 的 两 种 表示 方式 分 别 被 称 为 " 强 办 和" 红 异 ” ,你 是 如 何 理解 的 ? 

8.49 二 进 制 重复 码 是 否 达 到 Abramson 界 (定理 8.9 推论 )? 

8.50 Abramson 码 是 否 达到 Reiger FF? 

8.51 在 一 些 纠正 突 发 错误 的 实际 应 用 中 ,只 需要 纠正 特定 位 置 上 的 罕 发 错误 。 其 中 最 重 
蓝 的 例子 是 纪 正 定 段 突 发 错误 。 在 纠正 定 段 罕 发 错误 时 ,分 组 长 度 n E: b 的 售 数 ， 
且 长 度 为 二 的 窒 发 只 出 现在 训 的 倍数 位 置 上 。 一 个 能 够 纠正 所 有 长 度 为 点 的 定 段 
突 发 错误 的 码 被 称 为 纠正 定 段 5 长 寞 发 错误 码 。 比 如 ,一 个 码 长 为 12 的 纠正 定 段 3 


vik 
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长 帘 发 错误 碍 能 够 纠正 在 位 置 0,3,6,9 上 上 出现 的 任何 长 度 为 3 的 突 发 错误 。 

(a) 试 说 明 纠 正定 段 罕 发 铺 误 码 满足 定理 8.10 以 及 Reiger 再。 

(b) 试 证 明 如 果 一 个 码 能 够 纠正 t 个 长 度 为 8 的 定 段 宪 发 , 则 re 245. 

8.52 考虑 一 个 (20,12) 二 进 制 线性 码 ,其 一 致 校 验 矩阵 如 下 : 

Co Ca Cg Cr Cs 
Cy G, Cs Cy Cis 
Ca Cig Ca Cs Cro 
Ci Cis Cig C3 G 

i FARNESE Cy. C,’ Cy] E T 3REEEZ LAH 3x4 CRE Teh. 

而 最 右边 一 列 和 最 下 按 -. 行 的 元 素 是 奇偶 校 验 位。 奇偶 校 验 的 规则 是 使 每 行 和 每 

列 元 素 的 总 和 等 于 0。 例如 ,对 于 第 一 行 ,有 Ce + C, + G, + Co + Co=0; 对 于 第 二 

‘A C. + G; + Cy + Cys = Oe 

(a) RARABI HENA KEA 4 ERR RGR. 

(b) 说 明 仅 由 左上 角 3x4 位 元 素 构 成 的 码 不 能 纠正 所 有 长 度 为 3 的 定 段 突 发 错 
LR o 

Co) EFU HA, HIL b+ 1 RY A bx (b + IRA Re 
纠正 所 有 长 度 为 b AGE BEBE AZ FE ss o 

8.53 (Burton $4) 

(a) 设 g(x)=(xt -1) Py (a) EP, OEA n, BJ b 次 不 可 约 多 项 式 . 
试 说 明 g(x) 可 以 生成 一 个 码 长 n= lem( nj ,8 了) 的 (n,n - 285) 循环 码 , 该 权能 够 
纠正 所 有 长 度 为 5 的 5 个 定 段 突 发 错误 。( 参 见习 题 8.51.) 

(h} AS EIS (a) SET EH PRE A Cy, Cn ~2b)j) PAWS, + b. ERE 


们 纠正 (普通 的 ,而 不 是 定 段 的 ) 突 发 错误 的 能 力 。 证 明 lima 6/20; = + ME 


些 码 渐 近 地 达到 Reiger F- 
8.54 考 席 一 个 但 长 为 31 的 二 进 制 循环 码 , 它 能 够 纠正 b = 3 RRR 
(a) 利用 Abramson AN Reiger $, (ATH be BAILA 
(b) 你 是 否认 为 存在 一 种 码 , 具 有 (a) 中 预计 的 元 余 位 数 ? RA 
8.55 it gf(xz) 是 一 个 (mn ,让 循环 码 的 生成 多 项 式 , 旦 (4x + 1) 不 是 g(a) PAX, We’ (4) = 
(x+1)g(x) 是 一 个 (n,k 一 i) 码 的 生成 多 项 式 ,该 码 是 将 原 码 中 重 景 为 奇数 的 码 字 
删除 而 得 到 的 : 
8.56 试 对 例 8.16 中 (7,3)Abramson 码 的 下 列 噬 声 码 子 进行 伴 码 : 
(a) [0101010] x 
(b) [1111111] 
(e) [1110010] 
(d) [1101000] 
(e) [1011114 | 
8.57 试 对 例 8.17 中 (15,9) 纠 正 b = 3 KARR RBH TIRE TEITE: 
(a) [000001001111000] 
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(b) [101110001100000] 
Ce) [111001000001111] 
(d) [110100000101010] 
(e) [111100000000000 | . 
8.58 验证 例 8.20 的 结论 :多项式 e(x)=(xl+i x+ 1)(x!+ x' + x° + x + LER ET 
(15,7)EZH1FE b=4 (CRA RAS. 
8.59 FIBA SRE EPS, AE b = 4 RRR RS? 
(a) glx)aCx ex tbat + + x° + x 41) 
(b) g(x)= (x tat ls? + x? + 1) 
8.60 验证 例 8.20 的 结论 :多项式 a(x) -x +x ft +l 能 能 产生 一 个 (15,.3) 纠 下 
=6 长 突 发 悄 放 循环 态 。 
对 于 例 8.17 中 所 研究 的 (15, 约 码 , 长 度 过 3 的 突 发 占用 了 的 个 陪 集 中 的 61 个 。 请 
给 出 剩余 三 个 陪 集 的 伴随 式 、 在 这 几 个 陪 集中 ,最短 突 发 图 案 的 长 度 是 黎 少 ? 
8.62 Æ 8.17 中 ,我 们 看 到 g(x) = (x*+x+1)(x* +x+1) 能 够 产生 一 个 (15,9) 到 正 
b = 3 长 罕 发 错误 循环 码 。 请 问 g(x)= (x +x +1)(x° + + BREE IS 
Hü ° m (x)=(x' + x) + x tat Ce + x+ 1)? 
8.63 推广 例 8.17, 证 明 -TEREA (x) = ple) Ce? + x+ IAQ” - 1,2" - m - 3) 
二 进 制 循环 码 ,是 一 个 达到 Abramson 界 的 纠正 总 =3 长 帘 发 错误 码 。 其 中 ptx) 是 
一 个 m 次 本 原 多 项 式 , 满 足 1 + x= x° (mod p(x)),W a mod 342, 
8.64 如 果 码 0C 达 到 了 Abramson 3. ,那么 是 否 码 C 的 深度 交织 也 达到 Abramson $? WMA 
是 ,请 给 出 证 明 : 如 果 否 ,请 举 出 一 个 反例 。 
8.65 证 明 一 个 交织 矢量 的 右 德 环 移 位 满足 趟 (8.10)。 
8.66 证 明 : 生 成 包 项 式 为 g(x} = (x' +1)/(x+1) 的 (n,1) 二 进 制 重复 码 是 一 个 强 纠 正 b 
长 突 发 错误 码 , 其 中 说 = Cn 一 11) 六 ,而 为 奇数 , 
8.67 给 出 定理 8.11 的 严格 证 明 。 
8.68 (参见 例 8.11 和 例 8.21) 对 于 一 个 (7,3)Abramson 码 , 试 说 明 每 个 图 案 为 111 的 突 
发 ,都 与 基 个 图 案 为 1 的 突 发 具有 相同 的 伴 月 式 。 
8.69 在 gtx) 生 成 一 个 弱 { 而 不 是 强 ) 纠 正 b 长 突 发 错误 码 的 情况 下 ,证 明定 理 8.14. 
8.70 在 例 8.24 中 曾 提 到 ,如 果 g(x) 是 一 个 周期 为 n 的 r 次 多 项 式 , 并 且 n <n, MER 
EWAH g(x) 的 (n,no -了 ) 缩 短 循环 码 由 矢量 [ G6, Cit Cm-1j 构 成 ,该 天 量 的 
EELMA Co + Cpe +t + Cm ix 是 ala TRE o 
(a) 试 证 明 缩 短 循 坏 码 是 一 个 线性 码 。 
(b) 如 果 e(xr)= x° tat ta + CBR 8.23), FR ol) RRB) 16, 10) 48 528 
环 码 的 生成 矩阵 和 一 致 校 验 矩阵 。 
8.71 为 什么 表 83.5 中 没有 5 =2 的 行 ? 
8.72 对 于 表 8.5 中 的 每 个 n Mo fH. AH Abramson A-M Reiger 界 估计 需要 的 元 余 。 试 比 
较 估 计 值 和 给 定 Fire 码 的 实际 元 有余。 
8.73 考 虚 表 8.5 中 5=3 的 (35,27)Fire 码 。 采 用 5, =3, b: = 3" aT PRS 


8.6 


lk 
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进行 译 码 (参见 定理 8.13)， 
Ri = [11019110111010110111010i10100000111] 
R; = (O1GOE] 19101 1701000001 16107 1011010110) 

a RRR FA GE b, = 2, b, =4 译 码 器 , 试 对 以 上 接收 码 字 重新 进行 译 码 。 

8.74 为 使 一 个 纠正 4 长 突 发 错误 Fire BR BA ERA KE <b, 的 罕 发 ,同时 能 够 检测 
所 有 长 度 在 5,+1 和 28 - b (8144 25 -5,) 之 间 的 突 发 {这 里 5, 是 一 个 满足 
1 志 量 < 上 4 的 整数 ), 应 该 怎样 调整 它 的 突 发 捕获 译 码 电路 ?请 解释 你 的 理由 ,并 男 
出 收 改 后 译 码 器 的 电路 示意 图 。 

8.75 试 说 明 即 使 不 出 现 错误 ,图 8.10 所 示 算 法 仍然 适用 。 

8.76 为 了 检测 与 长 度 <8 突 发 具有 不 同伴 随 式 的 长 度 半 5+ 1 RK, MBO Bx 
图 8.10 所 示 的 算法 。 

8.77 图 8.10 描述 的 译 码 算法 针对 的 是 生成 多项式 为 g(x) 的 (n,n 一 r) 纠 正 突 发 错误 御 
环 码 。 为 了 完成 一 个 码 长 为 n 的 码 字 的 怪 码 ,第 要 在 程序 的 此 4 行 至 第 8 行 执 行 n 
次 for 循环 。 这 种 算法 也 适用 于 具有 相同 生成 多 项 式 的 {no ,no - SAS, TH 
是 仍然 需要 执行 n 次 for 循环 ,而 不 是 no 次 。 当 码 已 经 被 大 幅度 缩短 时 ,这 是 无 蔡 
接受 的 。 例 如 ,在 例 8.24 中 介绍 的 IBM 所 用 的 码 , 它 的 m = 152 552, 4B E: n = 
446 676 598 771。 显 然 一 个 需要 耗费 446 676 598 771 步 才能 完成 码 长 为 152 552 BF 
译 码 的 算法 是 毫 无 价值 的 幸运 的 是 ,通过 对 这 种 算法 进行 简单 的 改进 ,就 可 以 内 需 
n 步 完成 一 个 缩短 码 的 译 码 。 下 而 烈 出 了 改进 算法 的 伪 代 码 。' 注 意 第 7 行 和 第 8 行 
与 图 8. 10 中 的 算法 不 同 。) 


fe Burst-Error-Trapping-Decoding Algorithm for 
Shortened Cyclic Codes */ 
{ 


I, input A(x}: 
2. Ro(z)+— R(x); 
3 Solt) ~ Ro(x) mod g(x), 
4. for(;j=0ton - l)! 
5. i£ (5,(0) 4 0 and deg $x) = $ — 1) 
6. R (x) — R (x) — S,(x); 
7. R (x) — Br! RO mod x” — 1; 
8 Spal) — [z !S(x)) mod g(x); 
} 
9, output RK, (x): 


} 
(a) 试 分 析 此 算法 的 工作 原理 。 
(b) 考虑 一 个 (30,16) 缩 短 Fire 码 , 其 生成 多 项 式 为 g(x)= (x° + +1)(x +l) 
运用 上 述 算法 对 下 列 接收 码 字 进行 译 码 : 
R — [111101001110100011011011110010]| 
(e) 利用 移 位 寄存 器 实现 上 述 算法 。[ 提 示 : 你 同时 需要 一 个 “5(x)>xS(x)mod g(x) 
称 位 寄存 器 和 一 个 “5(x -zx | SOx mod g(x) BUNTA] 
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-1] “modA DLBY FE SE EAB FF ARR, YY a JE F “mod” A RR EE 
的 常见 用 法 ,但 居 并 不 完全 相同 。 因 此 O(x)= P(x)(mod M(x )) (3% BAY “mod” E 
示 等 价 关 系 ) 仅 意味 着 Q(x)- P(x) 可 以 被 MC ERR, MT G(x) = P(x)(mod M(x)) 
(“mod” 是 一 进 制 算 子 ) 除 了 表示 Q (x) - P(x) 可 以 被 时 (x) 整除 外 ,还 表示 
deg O( x) < deg M(x). 
| Xf SRA PROC A) EA BT CE — AP PE Berlekamp[14] 第 2 章 的 有 关内 容 。 
] 就 目前 的 馆 辑 电 路 水 平 而 言 ,to 已 经 可 以 小 到 几 皮 秘 的 量 级 (pico = 10°"), 
[4] 本 节 假 定 读者 已 经 了 解 有 限 域 的 相关 理论 了 。 初次 阅读 时 ,可 以 跳 过 这 部 分 内 容 ， 
] 这 里 以 及 本 节 的 后 续 内 容 , 我 们 按照 惯例 说 n=2” - 1. 

] 这 些 例 题 都 假定 读者 已 经 了 解 有 限 域 的 相关 理论 了 .初次 阅读 时 ,可 以 跳 过 这 些 
内 容 。 
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9.1 aj 


在 第 7 EP RATS a HETER, ape  —2É #U EMT R 

(27 1,2" - m- 1), 38 BOR EE EE BIE BY EP TRA RE. E 

这 一 章 里 ,会 给 出 一 个 更 重要 .更 广泛 的 推广 , 即 能 够 纠正 多 个 错误 的 BCH? 利 Reed-Solomon 码 。 
为 了 得 到 一 般 性 的 定 交 ,回顾 一 下 码 长 为 由 =22 -1 AA Bi) — 28 Fe Su yB F , 它 由 

H=[vo v .. v,1] (9.1) 

给 出 ( 见 7.4 节 ) ,其 中 (wmvY JEE Va = GFC2") 2" -1 个 非 零 ( 列 ) 天 量 的 某 个 排列 。 

矩阵 HBB m x n, 这 意味 着 需要 m SBOE E— T fi, GR EE 88 
TF DE , UN NS RR Sr HB IFI SES om Be oe Wali a — B K 2; 


Wo Yp ... Va- 
H = 
Wo W| ... Weel 


其 中 两 ,Wi We € v, eR ARSED n SER E a eA fy — SCO Wo SE 
阵 。 然 而 由 于 是 各 不 相同 的 ,所 以 可 以 将 对 应 关系 vw, 看 做 是 从 Va BIE BAT Bš 
数 , 并 将 H, im: 


H, — Vo V| sia Yal | 9.2) 
“| fw fv). fva) a 


但 是 如 何 选取 函数 了 呢 ? 根据 7.3 节 的 结论 ,及 将 定义 一 个 纠正 两 个 错误 的 码 , 它 的 充分 必 
要 条 件 是 重量 为 0,1 和 2 的 1+ n+ | ?个 错误 图 案 的 伴随 式 都 互 不 相同 。 任 何 一 个 这 样 的 


伴随 式 都 是 H, 中 列 的 某 个 子 集 (可 能 为 空 集 } 的 求 和 ,因此 它 也 是 坊 , 中 的 一 个 矢量。 但 是 为 
7 了 与 我 们 下 前 的 观点 一 致 ,这 里 将 伴随 式 s= (sets s, ) 等 分 为 两 个 部 分 ;5 = (s.s), H: h 
s = Csia Sa AM Sy = (Spano tty Som JBE VV 中。 根据 这 项 约定 ,全 零 错 误 图 案 的 伴随 式 为 
(0.0) ;在 位 置 ;上 出 现 单个 错误 的 图 案 对 应 s= fv) TERS i 和 jy 上 出 现 一 对 错 谋 的 
图 案 对 应 8s=(v, +v :fyv)+gw))。 为 了 使 这 二 种 情况 统一 ,我 们 定义 萎 扩 = 和 注意 .由 于 0 
不 是 中 的 一 个 列 , 所 以 了 以 前 在 0 处 没有 定义 ); 则 这 些 伴 随 式 都 不 相同 的 条 件 是 方程 组 : 

u + v 一 号 | 
f(u) + f(v) = s; 

对 V. 中 的 每 一 对 矢量 至 多 有 - -个 (u:v) 解 。[ 自然 我 们 不 认为 解 (u,y) 与 (v, 四 古 不 同 的 。j 
现在 必须 设法 找到 一 个 具有 上 述 性 质 的 函数 f: FV, 一 WE £(0) =0。 可 以 利用 某 个 线 


(9.3) 
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性 变换 了 短线 性 映射 fCY) = TY, 但 是 这 样 的 线性 变换 没有 解 ( 见 习题 9.1); 因 此 ff 必须 是 非 线 


性 的 - 为 了 描述 矢量 vE V, 的 非 线 性 藻 数 ,需要 知道 可 以 定义 一 个 V. ER BYR, SEY 
矢量 可 法 相 结 合 时 ,就 使 V, 成 为 -个 域 。 [这 个 域 是 其 罗 华 (Galois) 域 GF (2” ); Wak C 中 但 
绍 了 所 需要 的 有 限 域 性 质 .| 根据 这 一 点 ,很 容易 看 到 (她 习题 9.2) ER VV, SD 
Wii + Smita, KM? 的 多 项 式 不 起 作用 (见习 题 9.1); 但 是 马上 上 会 看 到 ,ftY) = v nj 
以 满足 要 求 。 因 此 (这 里 通过 改变 符号 来 强调 一 下 ,从 现在 开始 ,不 再 把 y. 中 的 元 素 看 做 GF(2) 
的 m 维和 拓 量 ,而 是 将 它 看 和 做 GF(2") 中 的 标量 ) OnE Cay. ays, JE GF PEET 
素 的 任意 一 种 排列 , 则 和 郑 阵 


(ip “Hl -.. Ufy- 
fa = al «a a? (9.4) 
Ü l e t— 1 





是 码 长 为 n = 2” - 1 ŠI EW MIRA GB, SH CH CC Cn C. DEN 
是 具有 一致 校 验 和 矩阵 总 RS PIG TNFR p E SF dk Ca, = De Ca = 00 因为 此 
作为 CFD LETER, RA 2m 行 ( 当 med BF, OTT BRERA MA 9.5), BLA 
AHERN > n —-2m = 2" - 1 -— 2m- 

(9.4) Pp RUHR E Y — TERR, FPS BJ BB 25 FE BU 
URRE BHE MRS AE. 

定理 9.1 Blasm, sw SCR") P n PRMARELEM— AD. HRY 是 一 

A= (n - 1)/2 69 ERR. P| í x n BE 


ttoO tf) ... Cy] 
am mo... mi 
H = a ai om | 
a l arl ... an 
#— A DEA (hE) OB RBH EEE < t 的 错误 图 案 , 它 的 


Hea k> n — mt. 
WEA: —* KE CHC Cn ELEY, 为 一 人 相 码 字 的 充分 必要 条 件 是 日 C” = 0, ik 5 F @ 


X + C 的 一 组 1 个 线性 方程 等 价 : 
n—] 
S Cal=0, j=1,3,.,2t—1 (9.5) 
=f) 


将 式 (9.5) 中 第 7 个 方程 平方 ,就 得 到 0= (了 Cu = 32 Cal = > Cal (因为 在 特征 为 2 
MP (ct y) = 2 + y ME GF(2) 中 =x)。 因 此 这 个 码 的 一 个 码 字 的 等 价 定义 是 
下 面 的 一 组 21 个 方程 

n—| 

5 Caj = 0, j=1,2, 27 (9.6) 

i=Ü 


HETTAF AF it À 21 x n ARE 
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Gy Gy On 
2 2 2 
| (tn (t =. n. Xh] 
H' = 
i 
` 
: af ?t 2t 
T Ei i um F Aa] 


RRRA, WEERTS, H AA E AR h y St AQ Ry E Pt 00 X, 2 -EAH 
AW PRE 21 或 更 由 的 列 是 线性 无 关 的 。 现 在 于 中 上 个 列 组 成 的 一 合子 几 (其 中 r= 


24) 将 具有 如 下 形式 : 
py... B; 
Bi... B, 
B 一 I 
BY BP 
EP BBB 是 CF(2") 中 的 不 同 非 霉 元素 。 者 虑 由 B 中 的 前 7 TI RHE B'; 
Bi e+e E; 
B’ = . 
Br o B 
EBRA AE A 65 , AA ht 3 $Ë ( Vandermonde) 47 7) 2 LIA 9.3), Ë F 4T 8] =. 
A: 
] 有 1 
Bi o o P 


det(B’) = f; ... B, det 


Be ea Bee 
=f, -.. B, [16 -8 £0 
r= 

因此 Baa eee, PAT B ahali RAA bk dR X g, T WL. ix 48 85 58 s 
ete EMA EE ei 的 错误 图 案 。 为 了 证 明 维 数 的 界 k> n - mt, xL ER RHA 
| REER H. AW ACR AE GEF(2) 中 的 元 素 ,而 不 看 做 是 CF(2") PHAR 
| 阵 的 维 数 是 mi xn, PGT. W 0554 A ERA OH Sk K < mi, 因 此 这 个 码 本 身 的 
HA > n — mi. 


| 定理 9.1 所 描述 的 这 类 码 称 为 BCH 码 , 以 纪念 它 的 发 明 者 Bose, Ray-Chaudhuri 和 Hoc- 
| quenghem。 该 码 的 重要 性 主要 不 是 体现 在 定理 9.1 本 身 中 (其 他 码 可 能 具有 更 高 的 码 率 和 更 
| 大 的 最 小 距离 ), 而 是 在 于 存在 有 效 的 编码 ,特别 是 存在 有 效 的 译 码 算法 。 在 接 下 来 的 一 节 里 
将 看 到 ,如 果 正 确 地 选择 【av ,a,,…, a,.;) 的 顺序 ,BCH 码 将 神奇 地 变 为 循环 个 ,而 根据 第 8 章 
的 结论 ,编码 会 自然 变 得 很 简单 。 另 外 ,BCH 码 的 “循环 性 "将 改进 我 们 对 码 维 数 的 估计 。 在 
后 面 的 9.3 节 到 9.$ 节 ,我 们 将 全 面 介绍 BCH 码 的 一 种 著名 的 Berlekamp 译 码 算法 。 
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9.2 RARER BCH 4 


回顾 一 PAREN n=2" -1 纠正 工人 个 错误 的 BCH 码 的 定义 :C= (Go,…,C,_1) 是 一 个 码 学 
的 充分 必要 条 件 是 ,对 于 j=1,3,…,2t ~ 1( 或 者 等 价 地 ,对 于 = 2,3, ,21 有 人 ro Ca = 0, 
其 中 (awaya E CF() 中 个 不 辐 非 零 元 素 的 一 个 排列 。 如 果 适 当地 选 掺 这 个 排 
列 ,该 码 就 变 为 一 个 循环 码 ,因而 继承 了 适用 于 循环 码 的 所 有 实现 机 制 。 这 些 " 循 环 排列 具有 
如 下 形式 : 

(lave, at 

HP n 是 2" -1 的 一 个 因子 ,而 a 是 GF(2") 中 的 一 个 a 阶 元 素 。 根据 这 样 一 个 排列 ,定义 变 
为 :C= (G0, CG, 1) 是 一 个 码 字 的 充分 必要 条 件 为 


ty 一 


| 
Cu! 二 0， 对 于 j= 二 1,3,…,21 一 1 RBS = 1,2,3,0, 21) (9.7) 
¿=Ü 


按照 第 8 章 的 观点 ,在 这 个 实现 中 ,BCH 码 变 为 一 个 循环 码 。 为 说 骨 这 一 点 , 令 Cle) = Co + 
Cx +' + C_x" ANS C MERAS: MRO TEA: 
Cla = 0, j=l,2,°°°,2¢ (9.8) 


现在 令 Ca 有 是 码 字 C 的 右 循 环 移 位 ;根据 定理 8.1, 它 的 生成 函数 为 C(x) = xC(x)mod( x - 
1) ,这 意味 着 存在 某 个 多 项 式 M) HB OC (x) = xC(xz)+ MO) (0° - 1). AEI TF = 1.2... 
ot, 

C* (a?) = a Cla’) + Milala” — 1) 


但 是 根据 式 (9.8), Cle) =O. F HAF a = lee" -1=0, 因此 对 7=12 .2r, C (e’) =0, 
可 见 Ca 也 在 由 式 (9.7) 定 义 的 BCH rh RRA RE. 

现在 根据 定理 8.3, 每 个 BCH 码 都 以 它 的 生成 多 项 式 gtx) 为 特征 。 但 是 如 何 计算 g(x) 
We? 根据 定义 , g(x) 是 码 中 次 数 最 低 的 码 多 项 式 , 即 满足 eladagla® a= gla’) =O) 
最 低 次 多 项 式 。g(x) 的 系数 在 CF(2) 中 ,但 是 a 不 同 次 数 的 芋 在 更 大 的 域 CF(2 7 ) 中、 因此 
( 见 附录 CO, gtx) 是 CFO WJ T 5 A = la,e yr ll GF(2} 上 的 最 小 和 多项式。 所 以 ,如 


REY A 为 4 中 元 素 的 所 有 GFO) -HAKEA M A= ;六 :PE 4,i>z0i, 则 ， 
«n= Je-a 09) 


fie A* 
我 们 在 下 面 的 定理 中 总 结 了 上 述 这 些 结论 . 
定理 9.2 PAARO DAAG DELLA n HAE: MAHRI BCH 码 , 则 这 个 码 
是 循环 的 ,生成 多 项 式 由 式 (9.9) 给 出 。 而 码 的 维 米 为 - de(g),PP k= n- 14 1, 其 中 
A’ CFO")? Acta, ya” | 的 GF(2)- ARENES. 
例 9 1 考虑 一 人 林 码 长 为 15. 纪 正 3 个 错误 的 BCH 码 。 令 a 是 GF(16) 中 的 一 个 本 原 元 ; 则 根 
据 定 理 9.2. 生 成 多 项 式 是 集合 4 = ia,ai,a5l 的 最 小 多 项 式 。a ORRERI a, ,a ， 


T 
= 
ae 
H 
ihe 
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ella RRR A CA ya a ia” 的 共 斩 类 为 {a ae"), Att, 


£ 4 5 
A" = la, a’, a, a a. af, aŠ a? a”, ¿121 


根据 定理 9.2, 维 数 是 15- 10=5. 

要 实际 计 工 出 这 个 例题 中 的 ola), BE GF(16) 的 一 个 具体 表示 我 们 利用 满足 a = 
a + 1 的 本 原 元 a RERET CFG), A 0.1 PAE d 由 次 数 雪 3 的 e 的 多 项 式 给 出 ; 
例如 ,an =a tai ta, 生成 多 项 式 g(x) 是 a,a 和 和 a 的 最 小 多 项 式 的 率 积 。 禄 据 定 
Xa Hm $RAA x + x + | , a? WE bh 3 Ait 29 g(x) = go + Ea X + eux + 
gar + gut mi g, (a?) =0。 由 表 9.1, 这 等 价 于 gw[0001] + ga [1000] + 
gu[l1100| + ga[10101+ ga[1111] = [0000]. 2 MAHA eS 5 4 AK pe ke 4 Av #- < 
方程 组 成 , 它 的 惟一 非 全 零 解 为 [ Zo. Za En. Es fu =[11111], A H% gl x) =x + x° 十 
xq x+l1, A Æ, g (x)= ge t gas + gox (我 们 已 经 知道 o U ADEME, A’ 与 
aR RS oh +I xX+1。 因 此 硒 长 为 15、 纠正 3 个 错误 的 BCH 码 的 生成 多 项 式 为 26x) = 
(x xt) rt ra + tat Dv txt dD act tx q x) + att art x+ 1. mR R 
a> SHR A h(x)=(x”°+l1)/g(x) = x+ x +x+1 (2H AM ERA F, z (x) RM 
于 表 9.1 中 给 出 的 GFI16) 的 具体 表示 ,见习 题 9.6- | 





9.1 将 GFI16] 表 示 为 a OME co’ =a +1 


l 


l 7 
Ü 0001 
l wD 
2 0100 
3 1000 
4 O01 
5 0110 
6 1100 
7 1011 
8 0101 
9 1010 
10 O111 
1] 1110 
12 1111 
13 1103 
l4 KDI 


下 面 来 总 结 一 下 到 目前 为 止 我 们 所 了 解 的 BCH 码 : 它 可 以 设计 成 能 够 纠正 码 字 中 任意 数 


目的 错误 , 纪 错 能 力 大 约 达到 码 分 组 长 度 的 一 半 ( 定 理 9.1) ,作为 竹 环 码 具 有 韭 常 完 闫 的 代数 
特征 。 然 而 ,这 种 码 重要 的 实用 价值 儿 乎 完全 取决 于 一 个 非常 高 效 的 译 码 算法 。 从 下 一 节 旺 
开始 讨论 这 种 算法 。 
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9.3 BCH 码 的 译 码 , 第 一 部 分 :关键 方程 


在 本 节 中 将 推导 出 所 请 的 关键 方程 , 它 是 BCH 码 译 码 算法 的 基山 。 但 是 在 推导 关键 方程 
之 前 ,必须 先 提供 一 些 预备 知识 。 这 里 将 以 更 一 般 的 形式 来 介绍 这 些 知识 ,而 不 局 限于 现在 必 
需 的 ,以 全 后 面 不 论 是 讨论 BCH 向 还 是 Reed-Solomon 码 纠 正 错误 或 纠正 删除 符号 ,者 可 以 
引用 ， 
£ FR? aan 芥 单位 本 原 26a 的 域 ” 。 我 们 首先 注意 到 ， 
天 一 】 
=x" = [](l-a'x) (9.10) 
i=0 
这 是 因为 式 (9.10) 两 边 的 多 项 式 都 是 n 次 的 ,常数 项 为 1 并 具有 根 a =0,1,…,a -1。 接 
下 来 令 
V = (Po, Fs, Ka-0) 
V = (Va, Vi, og Pai) 
HEWER EAO), AR LMF ; 


n-l 
P i= 5 Val 对 于 /=0 1, aol (9.11) 
i=0 


有 时 称 V. 为 矢量 VY 的 “时 域 " 坐 标 ,六 为 “ 频 域 "坐标 。 时 域 分 量 可 以 从 频 域 分 量 还 原 出 来 , 通 
过 所 谓 的 " 反 DET": 


= I$ Pa, xFTi= 0.1 . n 1 (9,12) 
no 
对 式 (9 12) 中 求 和 前 而 的 因子 *17n" 有 必要 详细 解释 一 下 ,因为 要 考虑 到 FER ABA RR 
域 特性 。 数 值 “n” 是 求 和 1+14+…+1{(n 项 ), 而 "lin" 是 这 个 数 的 倒数 。 例 如 ,如 果 F 的 特征 
为 2, 日 n 是 一 个 奇数 , 则 lm = 1。 然 而 ,除了 这 个 细微 的 差别 , 式 (9.12) 的 证 明 等 同 于 一 般 的 
F DFT 公式 的 证 明 ,我 们 将 它 留 做 习题 9.8。 如 果 将 Y 和 Y 的 分 量 理解 为 多 项 式 的 系数 , 即 如 
Bast YA AR PR VOR VC) A: 


Vix) = Mot Fix + : : ° + Vix" (9,13) 
All 
V(x) = Pot Pix + + Pax (9.14) 
则 DEF 和 IDFT HARRY. 11 MCG. 124A: 
pP; = V(a?) (9.15) 
All 
Vi =+ Pia’) (9.16) 


H 
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对 于 一 个 给 定 的 矢量 , 它 的 时 域 和 频 域 坐标 之 间 存 在 许 案 有 意义 和 有 几 的 关系 。 其 中 之 一 就 
是 下 面 所 定义 的 , 频 域 的 “时 间 变 化 ”与 时 域 的 “相位 移动 "之 间 的 对 应 关系 。 如 果 将 矢量 的 
第 i 个 分 量 乘 以 a*, 即 ,如 果 定 义 ~- 个 新 矢量 W, 为 : 


V. =e (Po, yma ss, p tno 2) (9.17) 
Va = (É, Putte c's Pass) (9.18) 


式 (9.18) 中 的 下 标 是 按 mod n ERA, RITA. I8)HBUDEHH BIR JER 0.10. 
作为 编码 理论 研究 者 ,我 们 总 是 对 一 个 矢量 的 重音 感 兴 趣 。 下 面 的 经 典 定 理 告 许 我 们 ,如 
果 了 解 了 矢量 在 频 域 的 革 些 信息 ,应 该 如 何 估 讨 其 在 时 域 的 重量 , 


定理 9.3(BCH 论证 ) 设 有 是 一 个 非 震 秋 量 , 丈 具有 如 下 性 质 : 含 有 症 个 连续 的 0 分 量 ， 
Ep ae = Vie = u= | = Ü. 则 V wJ Ë > m + 1. 
IAR S Ô Amai, La Ci 由 个 连续 0 kB PRR n m.n- m+l1, n - 1, W 


表示 移 性 后 的 秋 量 , 即 
. aes 
w a) 


7 (9.17) 40 X,(9.18), W LE WH DFT, 而 到 的 重量 与 VW 的 重量 相同 。 但 是 根据 
ROID, W, = Wa KP Wa) = Wat is sea Bas EHR 
— A jE3k<n—- m-1653k2 S iX, T £ SAT n-m-1 Pi RW, =O, EVR 
m+it f dE W 20. Att wt V)= w(W)2z m+ 1. 

现在 基本 上 做 好 了 介绍 关键 方程 的 准备 ,但 是 还 需要 一 些 定义 。 给 定 矢量 ,这 里 定义 人 


的 支持 集 了 如 下 : 
I=(i:0=i=w=n—-1 , V; #0} (9.19) 
下 面 定义 几 个 关于 的 多 项 式 ; 位 置 多 项 式 , 穿 乱 位 置 多 项 式 种 数值 多 项 式 。V 的 位 置 多 项 
式 为 : 
ov = [ [0 - a's (9.20) 


lef 
对 应 每 个 i 值 E 1, 再 定义 i EFL RAM oy’ (x): 


ov (x) = ov(x)/(1 — a'x) 


=] [u — ax) (9.21) 
fel 
jži 
最 后 ,定义 的 数值 名 项 式 为 : 
wy(x) = >` V o (x) (9,22) 


ie? 


后 面 ,比如 在 9.5 节 和 9.7 节 中 讨论 RS/BCH 译 码 算法 时 ,还 将 需要 下 面 的 引 理 ， 


hea L N £ kf a. | lat ， 
. $ HE ea edir g ski à 


dk —._ ee er ee ee ee ee h 


` - 
et ee m. u" r=" lar" kr. ere -ya sm d x ka ruk" >. ms s a — 


ee er aa 


1 - 
kise = 一 LE 
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引 理 1 ged oy(x),ay(x)) =1 

WEAA : *RAE A920) cdl oy lx) wyla = Hell- ar), BP J=li€ oyla O0. 
又 由 式 (9.22) ,如 果 El wyla s Voy (a l). 但 是 根据 了 的 定义 ,如 果 iC I. MJ V. 0, 
又 由 式 (9.21) ,ov (a 7 )= 11 (1-7 ') 关 0。 因 此 集合 J ZEW, wedlay(s) wyla) =], 
EË, 


现在 就 开始 介绍 "关键 方程 ”。 
定理 9.4( 关 键 方 程 ) 对 于 一 个 固定 的 秋 量 和 ,多项式 六 (x) cya) FH wu(x) 满 足 ， 
ay(x)V (x) = ov(x)(] — x") (9,23) 
证 阴 : 利 用 定 浆 (9.11) 式 、(9.14) 式 和 (9,22) 式 ,我 们 发 现 ， 
n—1 
Vo = 5 ` V, 5 xia (9.24) 
fief i=0 


FEHEX (9.21), MAA Eral sof (x) -a's) ,所 以 由 式 (9.24) 我 们 有 : 
n—- | 
ovx) = Š ` Vio P(x — a'x) Tea 
icf j=0 


=% koyo- x") 


icf 


= wy(x)(1 — x") 


定理 9.3 的 下 述 推 论 告诉 我 们 ,应 该 如 何 利用 cvtx) 和 wy (a A VISES. AY 


及 到 多 项 式 oy(x) 的 形式 导数 a (x). (UWHA 9 18.) 


推论 1 对 于 每 个 ICT RIA: 


y = — i Ovi) (9.25) 
oyla) 





HERA RH RMF (9.23) R AAA: 
av Px) + ah) FOX) = ov(xX—nx" `) + wh — x") (9,26) 
注意 ,如 果 xe a CHP ICI), DAOA 10) TUM ov( x) l- MAE, 
因此 如 果 x =a ', 则 式 (9.26) 灾 为 : 
aa Fa) = -naeia ’) (9.27) 
但 是 由 式 (9.16),V(a i) = mn。 这 个 条件 与 式 (9.27) 联 立 就 完成 了 证 表 。 
推论 1 说 明 ,V 的 时 域 坐标 可 由 cv(x) 和 wy(x) 有 效 地 恢复 。 接 下 来 将 要 证 明 的 推论 讽 


BA ,如 果 知 道 V 的 前 几 个 频 域 坐标 ,其 余 的 就 可 以 仅 出 oy(x) 通 过 一 个 简单 的 递归 运算 来 恢 
复 。 在 推论 的 表述 中 DE sy(x) 表 示 为 : 


ay(x) = ltoayx + -- + oax’ 
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推论 2 对 于 任意 下 标 RNA: 
全 -$ 0; Pj (9.28) 


将 其 中 所 有 下 标 都 理解 为 经 过 mod n Fij, 
证 明 : 关 键 方 程 意 味 着 ， 

ov =Ü (mod1— x") (9,29) 
式 (9.29) 说 明 AF Osjan- CAMA ;, BRR oy (x) VC) med(l- x) P z 的 系数 
HAO. PRLS 3 PA Rk EA oa ymin AA FT Oc j= n 1 范围 内 的 每 个 j， 
aR A 


m= 


o,¥, = Ü (9.30) 


Me 


I 
= 


其 中 下 标 是 经 过 mod. n BEM, rB. e. E ALT m =1。 因此 现在 式 {9,30) 就 与 式 (9.28) 等 
价 了 。 
例 9.2 现在 以 域 CF(16) 为 例 进 行 说 明 , 这 个 域 中 的 非 零 元素 由 满足 式 at= a+ 1 的 本 原 元 

a 的 需 表 示 。 我 们 考 虚 矢量 

v = (0, 0, a°, 0, 0, 0, 0, a’, 0, 0, 0, 0, 0, 0, 0) 
则 在 式 (9,13) 中 定义 的 多 项 式 V(x)25: 
Vix) = ox + a!x' 
利用 式 (9.11) 或 式 (9.15) ,可 以 其 出 交 的 DFT: 


V = (a, a’, 0, a3, L, 0, a’, af, 0, 1, a”, 0, af, a, 0) 


3 


因此 如 式 (9.14) 中 的 定 头 ,V(x 为; 
V(x) = a? + ax + att txt + atx? + fx? + X? + al! + axl? + a x! 
e: (al i Ce 十 aby? r: gityé ue ax? J a?x!*) 


EE (9.31) 





17 9 
=G +u x 
( Tr abe 


j | + x! 
1+ ax +a°x? 


Y 的 支持 集 为 了 = 12,7| ,因此 六 的 位 置 多 项 式 为 : 
Gv(x) = (L + ax + ax) = 1 + a!2x + ax? (9.32) 
在 这 种 情况 下 , 式 (9.21) 中 定义 的 多 项 式 Gfx) A: 
oP = (tar, oV)=(1+ ax) 
在 式 {9.22) 中 定义 的 数值 多 项 式 ov (x) A: 
wy(x) = (1 + ax) + a? (1 +a?) = al? (9.33) 
bh > X (9.31), X.(9.32) FX (9.33) ,我 们 看 到 在 这 种 情况 下 关键 方程 确实 是 咸 立 的 。 为 


J [` AVA E 2 ' 
i bu bw cend Lu: ， 


LA rn TT eee ere hye 


TT Sa BG T aara aT a a a 
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验证 推论 1 ,注意 到 由 式 (9,32) 6,04) =a? = wy (x), Bobs C L RH 1 简化 为 下 = a, 
这 是 成 立 的 {=a fe Vna) MAA, ERA 2 ALA TH, 
Pi =a tov. 对 于 j=2,3,...,14 
所 以 (利用 V. =a" fo V. = a° 作为 初始 条 件 )， 
P. =a ag +a?-a’? = 0 
Py =a? -0 + a? a?’ = a 


Py =a- PaM 


这 与 我 们 直接 算出 的 六 一致 。 

有 了 关键 方程 的 预备 知识 ,就 可 以 开始 对 BCH 码 的 诺 码 问题 进行 详细 地 讨论 了 。 设 C= 
(CC CC 是 出 式 {9.6) 定 义 、 码 长 为 二. 纠正 守 个 错误 的 BCH 码 中 的 一 个 码 字 ,经 过 虹 
声 信道 传输 后 ,接收 到 R= (R. Riot RR,_1)。 假设 RR 的 分 量 是 0 和 1, 即 6F(2) 的 元 束 。 我 
们 定义 错误 图 集 为 矢量 下 =( 丁 , 呈 ,… 忆 .= 及 -C。 译 码 的 第 一 步 是 计算 伴随 式 S 5,,…， 
S, EMEA: 


no! 
S= > Ra’, MP j= 1,221 (9.34) 


=0 


因为 R=C+E, 有 EC 是 一 个 码 字 , 故 得 出 : 
S= Ee", 对 于 了 = 12,07, 28 (9.35) 


因此 正如 所 料 ERE ART RR ,而 与 传输 的 码 字 无 关 。 另 外 注意 比较 式 49.35) 和 和 
式 (9.11) ,我 们 看 到 S 是 错误 图 案 的 DFT 的 第 j 个 分 量 ; 换 名 话说 ,伴随 式 让 我 们 看 到 了 的 连 
续 2: 个 分 量 (第 1 个 .第 2 个 、……、 第 21 个 )。 现 在 姬 果 定 义 扭 曲 的 错误 图 案 V 为 : 


V = (Ep, Eia, Esat, t, Epa") (9.36) 


MARO. PAI. 18) FCS, po »52,) = CM, r, 1 Vor ds 
将 关键 方程 应 用 于 式 (9.36) 中 定义 的 矢量 VY; 但 是 由 于 只 知道 F(x) 的 前 2: PRB 
Vos F E Fa, ) ' 国 此 我 们 改 为 关 证 经 mod x” 降 次 的 关键 方程 ; 


a(x) VO = a(x) (mod x°) (9.37) 


[在 起 (9.37) 中 去 掉 了 olr) H olh FE Yo。] 由 式 (9.19) 和 式 (9.36) 我 们 看 到 VER 了 
是 使 E <0 的 标 导 集合 , 即 错误 位 置 的 集合 。 由 于 这 个 原因 , 式 {9.37) 中 的 多项式 okx) 称 为 
错误 位 置 多 项 式 。 同 理 , 式 (9.37) 中 的 多 项 式 w(x) 称 为 错误 数值 多 项 式 。 式 (9.37) 则 称 为 
BCH 关键 方程 . 

更 在 观察 -- 下 ,如 果 给 定 接收 码 字 及 的 伴随 式 ,或 者 等 价 地 ,给 定 P(x)modx"', FRAT ERE 
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以 茶 种 方式 “ 解 "BCH 关键 方程 (9.37) 式 , 求 出 多 项 式 olx) w(x), 然 后 可 以 很 容易 地 恢复 由 
错误 图 案 E,W eS C-R-E. 为 此 ,可 以 先 算 出 n Ma ola'),i=0,1,--,n-1, 
它 可 以 确定 式 (9.19) 中 定义 的 支持 集 I. 然后 通过 式 (9.25) 算 出 的 非 零 分 车 ,这 将 得 到 完 
整 的 矢量 VMS Str E 抑 式 (9.36)]。 另 一 种 方法 是 ,已 知 ( 入 ， 记 ,六 ,可 以 利用 
式 {9.28) 计 算出 矢量 VY, 然 后 通过 反 DIT 恢复 Y。 在 下 一 节 里 ,将 介绍 一 种 和 用 BCH 方程 来 计 
算 a(x) 和 w(x) 的 非常 有 效率 的 算法 , 它 只 要 求 我 们 再 附加 一 个 假设 ;实际 发 生 的 错误 数目 不 
ite +o 【这 个 假设 是 必要 的 ,因为 所 设计 的 一 个 纠正 了 个 错误 的 BCH OSTA EIR UE t 
个 以 上 和 销 证 的 .) 


9.4 多 项 式 的 欧 几 里 得 算法 


本 节 并 不 直接 涉及 BCH 3 BJ PE a EH. 但是 读者 应 该 记 住 , 我 们 的 目标 是 通过 解 BCH 
关键 方程 [ 式 (9.37) ] 来 求 出 s(x) 和 w(x), 这 里 已 知 (x)modx*'。 

在 整个 这 一 节 中 ,a{x) 和 5b(x) 都 是 域 上 固定 的 多 项 式 , 并 且 deg a(x) j deg b)“. 
以 后 alx) 将 用 x”* 替 挽 ,5(x) 将 用 伴随 式 多 项 式 Se KR. 

欧 几 里 得 算法 是 一 个 递归 程序 ,目的 是 寻找 a(x) 和 b(tx) 的 最 大 公约 数 ( 人 简写 为 eed) d(x), 
并 寻找 atx) 和 B85(x) 的 一 个 线性 组 合 , 使 之 等 于 d(x), 即 ,找到 如 下 形式 的 等 式 ，: 


u(xja(x) + p(x)b(x) = d(x) (9.38) 


这 个 算法 包含 四 个 多 项 式 序 列 ; CCa) Coa) nz Cg Cd). 初 好 人 条件 为 : 


u(x) = 1, vx)= 0, r. (x) = a(x) 
u(x)=0, vox}= 1 n(n) = A(x) (9.39) 


| 这 里 没有 定义 q _ | (x) g (x). XIF ice 1 ,定义 q, (x) #1 r(x) ap SEAR r. (x) BREA r(x) 
AY Aa A 


Falx) = g [x)r,- (x) + rife). deg r, < deg r;-.I (9,40) 

MEMA w(x) 和 w(x) 定义 为 : 
M (X) = mal) — g (x)u;_ (x) (9.41) 
Bax) = U; 3 (x) sie GAX)v, (x) (9,42) 


由 于 余 式 r 的 次 数 是 严格 递减 的 ,最 后 将 存在 一 个 非 零 项 ; 记 为 mm(x)。 已 经 证 实 r, (xz) 就 是 
alx) F bl xhi gcd, 此 外 ,将 god 表示 为 原来 两 个 多 项 式 的 线性 组 合 [参照 式 (9.38) 所 需要 的 
FAN: 

H UX x) F D (x)b(Y) = rix) (9.43) 


Lo RI LS BE kh ER TESS, BT SEB E tL 9.18(b)。 
现在 对 我 们 来 说 更 有 意义 的 是 , 表 9,2 TA H BJKK JL BBR h 3238 zü [B] BJ PK 
系 式 。 通 过 对 i 采用 归 锁 法 ,不 难 证 明 这 些 性 质 ; 见 习题 9.19(a)。 


lí = oed — ee ee ee u: l C x= 


“a - 
一 = —- = 一 一 


n 1 = - - 
JAPI ie -ur 一 一 一 br 一 —.-.. L 


eee - s.a 
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29.2 欧 几 里 得 算法 的 性 质 


Pr tt 一 Ti 三 一] Ügign+l 
wr po, gr, al -1 Qxixat+l 
oe -um n=- bt! (= ¿i= n +1 
uq + ub = r. -Ilxizn+l 


deg{u,}+deg(7,_,} = degi h ) 
degi v; ) + degi r, _ } = degia) 


Il=i=n+l 


Ü= i= n +I] 
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给 出 ,， 


a | 


29.3 网 几 捍 得 算法 的 一 个 例子 


u; v, f, 

I 0 x 

J l 对] 

I x +] ota] 

x4] eit at + 42 x° 

x+ x +Í vig laka yl + x +] x+] 

x + xt E etait xa x+] I 
rrr qx +] x Ü 


x+I 


* +I 


AK 9.365 i=4 47 BR ged(al(x),b{x)) =1( 这 是 显然 的 ), 而 根据 表 9.2 PHM D, ER 
等 起 (x +w + +r )a(lx)+ (x txt tatl bll, 前 9.4 中 和 将 继续 研究 这 小 


wT. 


现在 将 注意 力 集中 在 表 9.2 中 的 性 质 D 上 , 它 可 以 重 写 为 ; 


p.(x)b(x) = rdx} tmod üad(x)) 


利用 性 质 下 和 条 件 deg r; > deg r, ,得 到 估计 : 


本 节 的 主要 结论 (定理 9.5) 是 式 (9.44) 和 式 (9.45) 的 一 种 道 , 下 面 由 一 个 引 理 开始 。 


deg p, 十 deg r; < dega 


(9.44) 


(9.45) 


引 理 2 假设 将 上 面 所 述 的 欧 几 里 得 算法 ,应 用 于 两 个 多 项 式 ala) fe ble), BRAS 
ee o> O fev e0, BA n +u =dega- 1,W f$ £ Ë — t PRA Osjan), Et: 


证 明 : 回 顾 deg r, 是 i 的 一 个 严格 递减 函数 ,直到 r = gedla, b) BERK 


deg(Dp;) = u 
deg(r;) = v 


deg r-i => v + 1 


. = 
degr; = v 


米 定 义 惟一 的 标号 j 则 根据 性 质 下 ,我 们 也 有 ， 


deg V; = # 
deg V; = H +1 


(9.46) 
(9.47) 


(9.48) 
(9,49) 


(9.50) 
(9.51) 
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式 【9.49) 和 去 (9.50) 表 明 丰 在 一 个 和 标 导 了 满足 式 (9.46) 和 吉 (9.47), 式 (9.48) 和 式 (9.51 ) 


证 明了 惟一 性 。 

PE BEA TREERE. 

定理 9.5 Malas), blr) ela) r(x) RAR SRA, BA 
u(x)b(x) = rx) (mod a(x) (9,52) 
deg p(x) + deg rix) < deg a(x) (9,53) 


Fit nla) (x)= -1,0,7,n+1,284 Cals) be J RARKLER BER P 
AR SRR, WARM HABE FT Osjan, e— 4 Z RA Ale), RA: 
U(x} = A(x)p;(x) (9.54) 
r(x) = A(x)r,(x) (9,55) 
WEAR , 令 了 是 满足 式 (9.46) 和 起 (9.47) 的 标号 ,其 中 取 v，= deg r, py = deg a - deg r ~ 1, 
因此 由 式 (9.$3) degu(a)) <u. 则 根据 去 (9.51) 和 么 (9. 咎 ) deg n, ee +1z2deg v +1, 
deg r. 13v+1T= degr+l。 国 此 如 果 和 在 一 个 标号 使 叉 (9.54) 和 入 (9.55) 威 立 , 则 它 一 定 


是 惟一 的 。 
现在 将 性 质 也 和 去 (9.52) 重 与 如 下 : 
uja + DD = rj (9,56) 
ta j+ ob = r (9.57) 
其 中 也 是 某 个 未 确定 的 多 项 式 。 将 芭 (9.56) 乘 以 1 A957) RY y: 
u Da +U; Vb = rv (9.58) 
uba + pub = rv (9,59) 


A,(9,58) fe X (9.59) A rvs re; (mal a). 但 是 根据 式 (9.47) 和 式 (9.53), deg ra ) = 
deg r; + deg vsv + u < deg as 周 理 ,根据 式 (9.46) 和 式 (9.53) ,deg( m) = deg r + deg v = 
v+ < dega, AR ro = mi。 这 个 条 件 与 式 (9.$8) 和 式 {9.59) 结 合 , 就 得 出 uy = uno 
PAH PRM CRET u Pv, 是 互 质 的 ,这 就 意味 着 对 某 小 多 项 六 Ala), 

u(x) = A(x)u (x) 

U(x) = A(x)p(x) 
WA (9.57) BA Ana + Av,b = ;与 式 {9.56) 比 较 , 我 们 得 出 结论 r(x) HAC) (4). 


在 后 面 对 BCH 和 Reed-Solomon 码 译 码 算法 的 讨论 中 ,经 常 要 用 到 定理 9.5 的 结论 。 为 方 
便 起 见 , 现 在 引 人 算 法 程序 Euclid(a(x),b(x) ,u,v)o 

TM te BC a(x), blae SAA , b X deg a(x) = deg h(a), aC u, y jÆ At 

out v = deg a(x) 一 1 成立 的 非 负 实数 , 则 Euclid a(x), blr) u r) ÆR RAE R 

lala), bD Æ HE U 9 EN, AERE- AR yla) r(x)), 其 中 

deg u (x) sy, deg rla) vo 


下 面 的 定理 总 结 了 本 节 的 绪论 。 
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定理 9.6 设 v(x) 和 rtx) 是 非 堆 多 项 式 , 满 是 


u(x)b(x) = r(x) (mod a(x) (9.60) 
deg p(x) = x (9.61) 
deg r(x) = ¥ (9.62) 


SP Fey ARA + v = deg a(x) - 1 9 E ñ KM, ae (u Cx) y(x) AE 
Fuclid(a(x},b(x) ,u,v) 返 回 的 一 对 多 项 式 , 则 存在 一 个 多 项 式 À (x), FF: 
u(x) = A(x)p;(x) (9.63) 
r(x} = A(x)r;(x) (9.64) 
证 明 ;: 定 理 9.5 保证 了 看 在 惟一 的 一 个 标号 J, s $ K (9.63) PAC ORT. WH, 
Euclidf a(x), bix), u, D- ESRB SRA, RA RARE K (9.63) A (9.64), 
deg v (x) æ deg v(x) = u, deg r(x) deg r(x) € vo 
94 5610.3 P—-# 4 a(x)ax b(x)= x txt t+ 2 a x+1,F = CF(2). Fi AR 9.2, 
可 以 针对 (1,v) 的 8 种 可 能 组 合 ,将 欧 几 里 得 程序 的 输出 列 成 表 ;: 








(u,v) Euclid( x, x? + x44 x74 x+ Hv) 
(0,7) (l, x° +q xti xt txt) 

(1,6) (l z r st x° + x+ 1) 

(2,5) (xt +t xe x+1) 

(3,4) xtpl, tal) 

(4,3) (x? +1lattat]) 

(5,2) (xP + xt + xt 2) 

(6.1) Cafta ta l,l) 

(7,0) fx tat etd.) 


0 


IR AGE RB RRO SEA + yp x + x +1)e(x)= o ( x) (mod x"), BRE 
J 件 是 dega(x) <3, degw(x) a4. 根据 定理 9.5, 调 用 Fuclid( xf ze + xt q X + x 41,4,3), 4% 
Ë PLA Ama tl a +%+1), 所 以 针对 该 问题 的 所 有 解 具 有 形式 a(x)=A(x)(x +t), 
| wfxy=ACx)(x +x+1),38 P degA (x) <1. 4o K ik — E E ped(o(x),a (x))=1.,2D HE 
i —LJ 8 g(x)=x +l,øfxj=x +z+lo 
: 钊 此 为 止 ,应 用 定理 9.4 求 解 BCH BRA AMM RRS. RADE F — p Ë 
| 针对 各 种 情况 进行 详细 介绍 。 


| 9.5 BCH 码 的 译 码 ,第 二 部 分 :算法 


HER SAGE BCH 码 的 译 码 问题 ,这 个 问题 在 9.3 节 网 结尾 被 暂时 搁置 了 。 给 定 接收 矢量 
R=(R R oe, RR ), 它 是 一 个 未 知 码 字 C 的 噪声 样本 , 即 及 =C+ 耻 ,其 中 C= (Co, CG,…， 
C _,) 是 由 式 (9.7) 定 义 的 纠正 ;个 错误 BCH 码 中 的 一 个 码 字 ,EE 是 错误 图 案 。 我 们 的 目标 是 
f 从 及 恢复 C。 译 码 过 程 的 第 一 步 是 计算 伴随 式 多 项 式 S(x), CEMA: 
| S(x) = SI + Sax be + Sy, (9.65) 
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其 中 5 = Ero Re’ j= 1,22, 21 前 面 在 9.3 节 的 结尾 看 到 ,Stxz) = V(x)mod x”, HH 
V(x) 是 式 (9.36) 中 定义 的 矢量 经 傅 里 叶 变换 后 的 生成 函数 ,因此 关键 方 穆 (9.37) 式 变 为 


a(x)S(x) = wlx) (mod x?!) (9.66) 


其 中 ot x) 是 错误 位 置 多 项 式 , wl x) 是 错误 数值 多 项 式 。 

译 码 过 程 的 下 一 步 是 利用 欧 几 里 得 算法 ,特别 是 9.4 节 中 和 定义 的 程序 Euclid( a(x), ox), 
uy) ,通过 解 关键 方程 求 出 ol(x) 和 w(x)。 这 是 可 实现 的 ,因为 如 果实 际 发 生 的 错误 数 且 << 
1 , 则 根据 式 (9.20) 和 和 式 {9.22)， 


dego{x) = f 
dega(x)= í — 1 


并 且 根 据 引 理 1,gedtefr),owfz) = 1。 这 就 满足 了 定理 9.5 的 假说 ,其 中 a(x)=x”,B{x)= 
S(x),s(z)=a(x) r(x)=a(x) n=t,v= 1-1, 如 果 调 用 程序 Euclid( x”, S{x),t,t ~—1), 它 
将 返回 多 项 式 对 (v(x) ,r(x)) ,其 中 x) =20(x) ,r(x) = Ahw(x) Aa 是 一 个 非 零 标量 。 这 个 
标量 4 可 以 出 条 件 a(0) = 1[ 见 式 (9.20)] 确 定 , 即 4 =2(0) ,所 以 ， 


G(x) = u(x)/u(0) 
w(x) = r(x)/u(0) 


译 码 算法 的 最 后 一 步 是 利用 a(x) 和 ws ERA E= (Eo, E... Eni ) s EEE 
定 纠 错 后 的 码 字 C=R-E， 在 9.3 节 结 尾 处 看 到 ,有 两 种 方法 可 以 做 到 这 一 点 .我们 称 之 为 
时 域 方法 和 频 域 方法 。 

时 域 方 法 是 基于 条 件 : 

o(x) = Jo — a: x) 
ief 

其 中 ,了 是 错误 定位 集合 , 即 ,7= |i: Ez#0|[ 见 式 (9.20) 和 式 (9.36)]。 因 此 ,为 了 找到 错误 位 
m ,就 需要 找到 方程 oa) =0 的 根 的 倒数 。 因 为 内 有 n 种 可 能 根 , 即 1.g ea, 
所 以 可 以 利用 一 种 简单 的 " 试 错 ”算法 找到 卫 。 因 此 所 谓 的 “时 域 完成 法 "可 以 由 下 面 的 伪 代 三 
部 分 描述 。 它 以 alfa) BRA PoE Ey, Ey. Enio 


/* Time-Domain Completion */ 
{ 
for (1 =Ü ton — 1) 
í 
if (o{a‘) == 0) 
E= j: 
else 
F = 0; 
) 
) 


图 9.1 中 介绍 了 一 个 利用 时 域 完成 法 的 完整 译 码 算法 。 注 意 这 里 没有 用 到 错误 数值 多 项 
式 wtx) 一 一 它 的 重要 性 只 有 在 下 一 节 考虑 Reed-Solomon 个 时 才 会 体现 出 来 。 





“a= ' - - - ' 
er ree or ee ee et ie r ce, ie a ee ee ee rr lr. 


J 了 


Z =. aes 
Ti xu a Se Ee ee 
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/* **Time-Domain’ ‘ BCH Decoding Algorithm */ 
{ 
for (j =1Lto2t} 


$ = al Ra: 
S(x) = S, + Sox +--+ + Spat}; 
if (S(x} =—0) 

print ‘no errors occurred’ '; 
else 


{ 
Euclid (x*!, S(x), z, t—1); 
a(x) = p(xyu(0); 
for (i =O to n—1) 
{ 
if {gla ~) == 0) 
F = l; 
else 
E; = 0; 
} 


for (1 = 0 ton—15 


P 


C: = R, + E; I 
print ''corrected codeword: (Cp, Cit, Ca- 3 


图 9.,1 -一 个 时 域 BCH 译 码 算法 


频 域 方 法 是 基于 定理 9.4 的 推论 2, 它 说 明 VY= (各,…, 六 .1) 的 分 量 可 以 通过 公式 P. = 
Si s. ,递归 算出 ,这 里 o(x) =1+ oix+… to ,条 件 是 至 少 已 知 矢量 VY 的 a 个 “初始 
值 ”"。 由 于 伴随 式 提供 了 WW 的 21 个 分 量 , 即 V. Pa, P. Hú Eneclid( 2”, S(x), 1, t - 18848 
返回 的 一 定 是 一 个 次 数码 上 的 多 项 式 v(x) ,伴随 式 的 值 $, ,5,,…, 5 足以 满足 递归 算法 的 初 
始 条 件 ,所 以 下 面 的 “ 频 域 完成 法 "将 成 功 地 算出 错误 矢量 E: 


/* Frequency-—Domain Completion */ 
{ 
for (Jy =2t+i1 ton) 
SO} moda = Y 2 6,S,—,; 
for {i= 0ton-— l1) 
Ë, = aym Sa"; 
) 
图 9.2 中 介绍 了 一 个 利用 频 域 完成 法 的 完整 译 码 算 法 。 


例 9.5 考虑 码 长 为 1、 纠正 了 个 错误 的 BCH 码 , 它 的 生成 多 项 式 为 g(x)=x + x) + x° ta + 
gt +191), MIEKA R = (110000110110101). MERTE S 由 5 = 
I+ tata” ta” +a + a ra ik B, A F a ECFE. AAR 9.1, 
及 条 件 S, = S1(R,3J389.17). 8412 3 S =o", 815a, S, =0,5, =a ,$,=1,5,=0,8 





188 信息 论 与 态 码 理论 { 第 二 版 ) 


此 S(x)=x +a w +a wx+ar。 将 欧 几 里 得 算法 应 用 于 多 项 式 对 (x ,Sl(x}) ,得 到 了 下 
HRE: 


Í Li, Vi r, qi 
-i l 0 xŠ — 
0 0 ! x! + ax? + axr + zl — 
l ] x° + ax + aŠ a? x° + z? z + a 


因此 ,程序 Euclid( x°. S(x),3.2)i8 1 SRAM + aly + at ay, 将 这 两 个 多 项 式 都 乘 
以 a “发现 golfx)}=1+a x+ta rw,wlr)=a"。 如 果 选 择 时 域 完成 法 ,我 们 发 现 对 i =2 
fo7,a(a') =0, 因 此 错误 图 案 E = [001000010000000], 纠正 后 的 码 字 为 蕊 = 
[111000100110101j。， 另 一 方面 ,如 果 选 择 频 域 完 成 法 , 则 利用 初始 条 件 8 = al. S, = a?, 
S,=0,8,-0°,8;21,5,=0,ARBIXK S=a"S,,+0°S ;计算 伴随 式 失 量 , 得 出 S= 
(S, S 07, Su) = (O,@",@°,0,2@°,1,0,0°,0°,0,1,a",0,e°,0°), THE SHAR DFT, 
就 得 到 E = [001000010000000], Ê = [111000100110101 ] ,与 前 面 的 结果 相同 。 


/* ‘*Prequency-Domain' ’ BCH Decoding Algorithm */ 


for (j = 1 to2t) 


5 = Pal Ra 
Sx) = Sy + Sox tie + Syri; 
if (S(x) ==0) 
print *‘no errors occurred’ '; 
else 
{ 


Euclid (x*', S(x), £, 1—1); 
a(x) = v(xY AAO): 
for (j =2t41 ton) 
Ó; mod z = DA itj -i 
for (i =Oton-1) 
E, = rg S a"; 
for (i = Ü0tomn- 1) 
Č, =T E; 
print ‘ ‘corrected codeword: (Ca, Cy, ..., Co 


图 9.2 -个 频 域 BCH 译 码 算法 


如 果 错 误 数目 不 超过 ;, 图 9.1 和 图 9.2 中 的 算法 会 运行 正常 。 但 基 如 打出 现 了 上 个 以 上 
的 错误 ,就 可 能 产生 某 些 问题 。 例 如 ,程序 "Euefid(xz2 ,Sfs),t 一 1)" 可 能 返回 一 个 多 项 式 
o(x) AB x(0) =0, N R. SE Ro (a) = v(x)/v(0)" 中 除数 为 0。 另外 , 译 码 器 输出 的 
C= (6,, 它 ,,…, 尼 ,_,) 可 能 不 是 一 个 码 字 。 因 此 在 这 个 译 码 算法 的 任何 实际 应 用 中 ,必须 检测 
这 些 非 正 常情 况 ,如 果 它 们 发 生 了 ,就 打印 一 条 出 错 信 息 ,例如 “t TEER’. 


FF 4 Miden hp rr ce [Li ee eee ee Sk a, Tae wr 
a 


- - == "` - - ' - - 
Hr n TT aT re Te a dT eiL, ee ,Hr 
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9.6 Reed-Solomon 4 


ALAS ea 5 p i RIT AT 8 BCH BH- ETEME. BCH DE CHR GF(2) E 
BE ie ZU F 2 RRE, EPROR ARREAK CE) REA, AEF BCH 
码 ,存在 两 个 有 意义 的 域 : 码 宁 符号 域 CEDAR AA GF(2")， 

已 经 证 实 . 可 以 利用 几乎 完全 相同 的 理论 来 发 展 另 一 类 码 :Reed-Solomon 码 { 简 称 RS 码 )。 
RS 码 和 BCH 码 之 问 主 要 的 理论 差别 在 于 ,对 于 RS 码 而 言 , 符 导 域 和 计算 域 是 相同 的 。 这 两 
类 公 的 主要 应 用 差别 在 于 ,RS 始 很 晶 然 地 适合 于 传送 信息 符号 ,而 不 是 比特 。 在 这 一 节 中 ,将 
SE HWE Reed-Solomon #4. 

今 F JER BLUES n 的 元 素 a 的 任意 域 “ 。 如 果 BP 1 #l| SHER, U4 
AY F, JF [L iñi IE 


一 」 


5 Ci =0, j=1,2,..,r (9.67) 
=0) 


的 所 有 矢量 C={ Co, Cen CG ARERR RAR F ERBIC n IRN r 的 一 个 Reed-Solomon 

码 。 属 于 这 个 码 的 矢量 C 称 为 它 的 码 宇 。 下 面 的 定理 介绍 了 RS 码 的 基本 性 质 。 
定理 9.7 由 式 {9.67) 定 义 的 码 是 下 上 的 一 人 (nn - r AmA, CER SAAK 
e(x)=| REET OR RDS diap=rttls 
WEAR: S C=(0,,€,.°,€, Je F RAF OKE n ORE aC) = Q, + C x + + 
C. x" 1 0 B 9 ee R 3k. N A (9.67) BLR C # — Á AE MAD CRE 8 , wF 
j=1,2,- r, Cle) =0, F ose, C(x) Æ g(x)=(x-a)(x- al) (x —- a ) 的 一 个 悦 式 ， 
但 是 由 于 x -1=[[ (xz. 2), T P. g{x) 是 x* -1 的 一 个 因 式 ,因此 根据 定理 8.3(b)， 
该 码 是 一 个 (n,n ~ 了 Tr) 循环 码 , 它 的 生成 多 项 式 为 gtx)。 为 了 证 明 关 于 dM, £ 
意 到 不 《9.67) 说 明 , oe RCH (Co, 人 1，…, 尼 1) 是 一 个 码 字 的 DFT, 对 OC, = C, = = 
Ê =0[ EA {9.11)], 因 此 根据 有 关 BCH 码 的 论证 {定理 9.3), 人 性 意 非 零 码 字 的 重量 
都 汉 Fr+1lo 另 一 方面 ,如 果 将 生成 多 项 式 g(xw)=x +g. x tot gy K AS U E 
的 重 章 过 r+1l。 因 此 了 =r+l, 证 尘 ， 


#|9.6 考虑 GF(8) 上 的 (7,3)Reed-3olomon 9, wE a 是 GF(8) 中 的 一 个 本 原 元 ,满足 e=atl, 
则 该 码 的 生成 多 项 式 为 g(x)=(x-a)(x-a)(x- a x-a =at +a x + X° + ax + a`. 
Aye BAF gfx) 首 做 一 个 码 字 , 则 是 [ea 1.27 .1.0.0], KEEA 5, 2K k | EE, 

我 们 注意 到 例 9.6 中 GF(8) ERT, DRS BA dua =5. 1 Fl 8.2( K 25 8 BHA fb b Jy GER 

的 GF(2) 上 的 (7,3) 码 只 有 duad 下面 的 定理 证 明了 对 于 给 定 的 n 和 ,RS 码 具 有 不 依赖 

于 域 F 的 最 大 可 能 dain o 
定理 9.8 (Singleton 卉 ) 如 果 CAM F Eiln, ERE di xn-k +1, 

IR: 首先 我 们 回顾 -一 下 ,如 果 了 是 一 外 线性 变 搞 ,将 一 外 有 限 维 秋 量 空间 已 映射 为 另 一 
SKE Y, 财 
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rank( Z) + nullity( T) = dim( U) (9.68) 
RARITA 5 B| THR C mk 5435 z B] Ft! 65 ge bk 32 了 ,方法 是 将 每 个 三 宇 投 影 到 
前 让 一 ] 个 坐标 上 : 
P(Co, Ci, 0°, Co) = (Ca, tC) 
Le rank T) k - 1, RARR FORARE k-11, HARARE dim(C)= k. H 
MK (9.68) BAF niliy T) 21. # y fa - T3E435 3 CH TC =0。 这样 的 一 
SPER k- 1 个 零 分 量 , 因 此 它 的 重量 至 多 是 -上 + 1。 
定理 9.8 说 明 , 任 意 (n ,线性 码 的 du gn -上 + 1。 男 一 方面 ,定理 9.7 KHT EEn, k) 
Reed-Solomon BAY di = n — k + 1, 所 以 对 于 给 定 的 码 长 和 维 数 ,从 具有 最 大 可 能 的 最 小 距离 这 个 意 
X ERIH, Reed-Solomon 码 是 最 佳 的 。 具 有 d. n- k +1 的 线性 码 有 一 个 特定 的 名 字 ; 它 们 被 称 
WATE BR > B(MDS) 44. (279.24 3: Jih 9.26 中 介绍 了 其 他 一 些 MDS 码 ,) 所 有 MDS 人 码 都 共有 
一 些 非常 有 意义 的 数学 性 质 ; 其 中 最 有 意义 的 就 是 下 面 所 述 的 MDS 5994548 E At, 


定理 9.9 售 忆 是 域 记 上 的 一 个 (n,k)}MDS A, ŽA CiO, een- REE k AER 

位 置 组 成 的 子 集 。 则 对 下 中 任意 上 个 元 素 组 成 的 集合 ia :iiETl ,存在 惟一 的 一 全 码 字 

C, 使 得 对 所 有 El, A C, = aio 

证 明 : 我 们 考虑 将 码 C 映射 到 下 的 线性 变 接 已 , 它 将 每 个 码 字 投影 到 标号 集合 1; Pp 

PCy. C.a )=(C Goa CLAP Talib ile 起 (9.68) 在 这 种 情况 

F EA rank( P,) + nullity( P, ) = dinftC)。 我 们 看 到 dim( C) = k, AA C-k HA, 

而 nujlity( P, ) =0, RB £ a RA — PERS CLR P,(C)=0,W k 4-8 sp 6) E EE 

$Z n-k ik 5 C # — 4 MDS 码 的 条 件 矛 质 。 因 此 根据 式 (9.68),rank( P, ) =k, TLR 

射 Pi C— F ZARB ite), PRO KM RHR, KP 3433] / 8, F° 

中 的 每 个 矢量 恰好 出 现 一 次 ,而 这 正 是 定理 所 保证 的 。 

这 里 总 结 一 下 定理 9.9 的 结论 , 它 说 明 一 个 天 维 MDS 码 的 任意 个 坐标 位 置 所 组 成 的 子 
集 都 是 一 个 信息 集合 ({ 另 见习 题 7.13)。 我 们 给 出 的 证 明 很 简短 ,并且 是 非 构造 性 的 ;但 是 ,对 
于 RS 码 存 在 一 个 有 效 的 插值 算法 , 它 与 数值 分 析 中 的 拉 格 朗 日 插值 公式 关系 密切 。 下 面 的 
定理 清楚 地 说 明了 这 一 点 ， 

定理 9.10 考虑 由 式 {9.67) 定 义 的 域 F EK (n,k) Reed-Solomon 4,4 F k=n- r. 在 

这 个 三 的 码 字 C= (Cy, C07. C0,.1) 和 域 F F kha FRAT AE - 1 的 所 有 多 项 未 

P(x) =P) +P x+ + Pg UM S 2 EAE CAERA, q TF = š> HH; 

C; = art) pea!) 

因此 除了 缩放 因子 a" ,一 个 给 定 的 RS 536 2 EAE k- 1 k 53 S 63 FP 

GEA: @ C=[C U C. Jt — 5522 HBF, REAA CHR" 形式 , 称 做 D = 

[Dy DL, RA: 

D=a® YC, i=0,t,n2-1 (9.69) 
因为 根据 式 (9.67), 有 忆 = €, =…= =0, 故 由 式 (9.17) 和 式 (9.18) 得 出 户 a b,a = 0, 


J Op. gw bzgxw caged ; ae 


=- i 


az ZL 


- 一 . ' 一 
-ar Le -一 a i us. a s. da - 


- -- l oa 
e Sa AAN a r= Ar ATLE cen a a AI LU ea bee hd 
1 


|i asss 
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Att De) DFT 的 多 项 式 , 表 示 为 D(x) ,是 一 个 次 数 等 于 或 低 于 nr-1= 记 -1 的 多 项 式 ， 
Dix) = Dy + Dix 4- Dart) 
MAL $ IN < P(x)#= TF: | 
P(x) = ~ Dü) 


则 根据 式 {9.16), 有 万 = Plai), i20, 1ean- le 将 雍 式 与 式 (9.69) 联 立 , 就 得 到 忆 = 
a U P(a] '), 这 正 是 我 们 需要 的 。 
下 面 举 全 说 明定 理 9.10。 
例 98.7 考虑 例 9.6 中 所 述 的 (7,378HRS 码 -。 根据 定理 9.9, 存 在 惟一 的 一 个 码 宁 使 得 
|i=a GaG s a. RAM KARST, 
首先 观察 到 如 果 了 = {1,4,6i ,根据 定理 9.9,C 的 一 个 3x 了 维 生 成 给 阵 大 体 上 应 具有 -如 下 形式 ; 


0 3 4 5 6 
k Ü * Ü 
<= | + |] = | 
本 Ü * |] 
其 中 = 是 GE(8) 中 的 未 知 元 素 , 需 要 进一步 确定 。 一 旦 知道 了 Cy ENF CTH 
C= [ogo J Gatho AMMA RAE Giws 的 三 个 行 ,我 们 称 之 为 CG 和 (5。 
根据 定理 9.10,{7,3)RS 码 中 的 任意 码 字 忆 都 可 以 表示 为 C=a “Pla '), 其 中 
Plx) = p. + P. x + P. x: 为 一 个 次 数 等 于 或 小 于 2 的 多 项 式 。 Hoe eR P,(x)# T x$ 
+ Cs 的 第 一 行 吕 | 的 多 项 式 , 则 有 : 
Pah = aŠ, Pat) = 0, Pi(a 5) = 0 (9.70) 
由 式 {9.70) 中 的 条 件 P (a 1)= P (a °)=0 £t P (z)=A(1+alx)(1+ ax), AX 
LARR, T h£ p (a - 1)=a 确定 。 实 际 上 P (a !)= at BAA AM + 0° )(1+ 
a =o ,RP A= 2 /(1+a )(1+ a) = 1. 而 P (x)=(1+e' 'zx)(1+a x), A, 
C, = [P,(l), a2p,(a 1), a4 Pia”), af Pia”), 
a! Pia), a° Pia), a P,(a”°)] 
= [1, 1, a, a?, 0, a, 0] 
同 理 , 如 果 P(x) Fe P REAR TERE Cyt C BC, 行 的 二 次 多 项 式 , 则 会 发 
现 ， P.(x)= a (l+ ax) + atx), Pole) =a (1 t+ axl +eatx), 因此 计算 出 . 
C, = [1, 0, af, at, 1, a’, 0] 
Ce = [1, 0, af, añ, 0, a`, 1] 
2m C , C. fe C, WREST ERE Cig A: 
1 lila m 0 a 0 
oo (| 0 a as 1 a | 
10 a @& O 
RE, C =r, C =a, C =a 的 惟一 码 定 作为 : 


4 
C = [a?, (z, a*] . (7146 = [a°, a’, af, Ü al, ] 


X * * bl 


1 
l 
Ü 
Ü 


Yf + 其 


= 
Ln 
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到 此 就 结束 了 对 RS 体 的 理论 探讨 ;现在 米 考虑 编码 和 译 坦 的 实际 问题 。 

由 于 (n ,有 RS 码 是 循环 的 , 概 据 定理 9.7, 可 以 利用 第 8 章 介 绍 的 移 位 寄存 器 技术 进行 编 
码 。 特 别 是 叮 以 利用 图 8.5fa) 中 的 通用 编码 电路 。 但 是 由 于 RS SE MEIER TR F 
于 的 一 一 实际 应 用 中 从 来 不 是 二 进 制 威 GF(2)( RAE 9.27) 一 一 因此 三 个 基本 元 件 ( 和 触发 
器 .加 法 器 和 乘法 器 )-- 般 情况 下 不 是 "现货 供应 "的 。 虽 然 在 域 6F(2”) 上 设计 这 些 元 件 是 一 
个 重要 而 有 意义 的 课题 ,但 它 不 在 本 书 的 讨论 范围 内 ,我 们 将 以 图 9.3 结束 对 RS 编码 器 的 讨 
论 APB GFE `T zg(x)= x! + a` xr + xm? tate 的 (7,3) 系 统 RS BREMA 
编码 器 ( 见 例 9.6 和 例 98.7)。 


前 3 个 时 名 周期 闭合 
后 4 个 时 钟 周期 断 开 


hk 


输入 


— m -r 











图 9.3 CF8) 上 一 个 z(x)= x + a) + x° tarta 的 (7,3) 系 统 RS AE u AT fF 385536 


现在 转向 RS 码 的 译 码 问题 。 它 与 BCH 码 的 译 码 非 常 相似 。 如 果 考 虑 到 它们 定 多 的 相似 
性 ! 比较 式 (9.7) 与 式 (9.67) ] ,这 就 不 育 怪 了 o 

这 里 开始 正式 研究 RS 的 译 码 问 题 。 给 定 一 个 接收 矢量 R= (R, Rot Ri) ER 
式 (9.67) 定 义 的 (rn, 和)RS 码 中 一 个 未 知 码 字 C= (Go,C,,…,C,_1) 的 噪声 样本 , 即 R=C+E， 
其中 亡 是 错误 图 案 。 因 为 根据 定理 9.7, dw = r+1, 可 见 上 只 有 在 wt(E) =l r/2 | 时 ,才能 正确 识 
别 出 C, 因 此 在 下 面 的 讨论 中 ,将 令 1=Lr/i21, 并 假设 wi(EB) 专 1。 

译 码 过 程 的 第 一 步 是 计算 伴随 式 多 项 式 ，; 

Ee + Sox unas + S KAS: (9,71) 
Heh § = So Re’ palay ro TRU 9.3 节 的 结论 ,如 果 定 义 “ 扭 曲 错误 图 案 ”为 : 
V = (Ep, Eia, Ba, ©, En-1a"') 
则 S( x) = F(x}mod x ,而 关键 方程 (9.23) 经 过 mod r SIG. aA: 
G (x)S(x) = w(x) (mod x") 

其 中 o( x ERË V Miva eK wlr) PRS. 

现存 的 译 码 问 题 与 9.5 节 中 所 述 的 RCH 码 的 译 码 问题 几乎 完全 一 样 。 特 别 是 ,如 来 调用 
程序 Euclid(x' ,S(x) ,1,t 一 1), 它 将 返回 多 项 式 对 (v(x),r(x)), 其 中 vx)= doa), r(x) = 
wla), A 是 某 个 非 零 常数 。 

译 磺 算 法 的 最 后 一 步 是 利用 o (x) 和 mw(z) 来 确定 错误 疼 案 卫 = (E, E... E. |), JH 
此 求 出 原来 发 送 的 码 字 C=R-EE。 与 BCH 码 一 样 ,对 此 有 两 个 本 质 不 同 的 方法 :时 域 方 法 和 

RS 详 码 的 时 域 方法 与 BCH 译 码 的 时 域 方法 类 似 , 但 是 有 一 个 重要 的 区 别 : 对 于 RCH 1, 
日 知道 了 错误 位 置 ,立即 就 能 够 知道 它们 的 值 。 这 是 因为 BCH 码 是 二 进 制 的 ,对 于 所 有 的 


eT iry i ey nee i wr Lm 


i 
i 
h 
! 
i 
i 
: 
; 
: 
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i, 有 E, =0 Ek 1. AURA 4AA R, , 即 £0, —24 E =1。 然 而 ,对 于 RS 
iE, 是 "大 ”的 域 下 中 的 元 泰 , 因 此 仅 知 道 已 二 0 是 不 足以 确定 E, 的。 当 一 个 错误 位 置 确定 
后 ,为 了 计算 出 它 的 错误 值 ,就 要 利用 定理 9.4 的 推论 1, 它 的 内 容 是 , 如果 E Q, B| 


ola )=0, M] V, = aE = -awla ‘dia’ Ca") BR, 
— aa i) 
g'(a-:) 





E, = 


因此 RS 译 码 算法 的 有 时 域 完 成 法 可 以 如 下 ; 


/* Time-Domain Completion */ 


{ 
for (1 =Oton-— 1) 
{ 
if (g(@ ') —— 0) 
Ë, = -wle Vola"); 
else 
E; = 0: 
} 
} 


图 9.4 中 介绍 的 是 RS 码 的 一 个 完整 的 时 域 译 码 算法 。 


/* **Time-Domain’’ RS Decoding Algorithm +/ 
l 
for (J = 1 tor) 
$ = Yi ag Ria”: 
SQxy = S + Sex +... + Sh; 


if (S(x) = =0) 

print ‘‘no errors occurred’ ‘; 
else 
{ 


Euclid (x^, S(x), 1, t-l): 
ox) = u(x)/p(0); 
a(x} = r(x)'u(0); 
for (i= 0ton-— 1) 
{ 
if (ofa” ) == 0) 
E; = -ola ` yo (ay; 


else 
E; == 0; 

} 
for (2=Oton-1} 

C, = R, — E; _ . . 
print ` ‘corrected codeword: (Co, Ci. °°, Cnr); 

} 
} 


图 9.4 一 个 时 域 RS RE 


(9,72) 





站 ` ` z 
ET bee be TT 
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RS 主公 的 频 域 方法 与 BCH 评 码 的 频 域 方法 几乎 完全 相同 ,原因 是 通过 递归 算法 计算 错 
误 和 天 时 的 思想 对 任意 域 都 运用 。 这 里 是 一 个 频 域 完成 法 的 伪 代 码 程 序 。 


f* Frequency-Domain Completion */ 
{ 
for (3 =r+iton) 
Sy mod n = = git 
for {i= D emas 1) 
Ey = Oa Sa? 
} 


图 9.5 中 给 出 了 一 个 利用 频 域 完成 法 的 完整 RS FES AK 


/x “FTrecuency-Donmain RS Decoding Algorithm */ 


{ 
for (jJ = 1 Lo r) 
S =>. o Ra; 
Six) = S. + Sox toe + Spx; 
if (S(x) = =Ü) 
print '`no errors occurred’ '; 
else 
{ 
Euclid (x7, S(x), f t—1); 
cix = pxo); 
w(x) = r{xVvv(0); 
for (j =rd+lton) 
Simode = — 3, ym. 
for {i —Oton-—-1) 
E = Ty Sa Y; 
For {i = 0 ton-— 1) 
C, = R, — Bi; T U ; 
print * ‘corrected codeword: [Co Ci, >t, Gna] š 
} 
} 


图 9.5 一 个 频 域 RS 译 码 算法 


例 9.8 考虑 已 经 在 个 9.6 和 例 9.7 中 讨论 过 的 GP) -E 66 (7,3 RS 码 , 它 的 生成 多 项 式 
glx)=(x-a Kx- s- Mr- a)r ta r ta tata RRAKAEA R= 
(a` a l, 0,0,0,1) FRA S, => Ra? A S, = a, S =a, S, =a,S, =0, 2 S( x) = 
atx + atx + as + R jH JH HH Euclid (223. ax? + o's + a, 21) ,就 得 到 了 


FR: 
j v(x) nix) q(x) 
si Ü „í = 
ü 1 a x? + m x + m E 
l alx + a?) x + a` x +z ax: + alx + nŠ 
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dit beth a(x)= a (a T a x +a y )=1+ax +a x ol x)=a (x+ aj) = 
a" x + a`. 

PERRERA, RIEM a (a sala 0, BP 2(x)=(1+a xy)(1+ aty), 因此 错 
误 位 置 为 上 =2 和 |1=3。 为 了 算出 这 两 个 错误 的 值 ,利用 式 (9.72) 以 及 a’ (x) = a°, A 
wx)io (x)= a x+ a°, HR: 





wta” *) _ 
Ë; = ——— 一 t. a ° +a = a° 
o (a) 
-3 
u(t 
fy = ( ) tla 3 + at = af 





Pk E= (0,0,a2 as.0.0,0) $s oe he C=R+E=(a' a,a,1,0.a ,1)。 

根据 频 域 方法 ,我 们 利用 初始 条 件 S = al. S, = al. S, = 0°, S, =0 和 递归 公式 [根据 afxy) 

HARRIS =a Sua +a S_;, 得 出 : 

ay —@-O0+a°-a't= o° 
S,=@-ae+a0-0=1 
S = Sp = a° l + u e Q? =a’ 
因此 S=(5,,8, ,D1 Sa S... 5... Se) 一 (a*,@°,0°,0°,0,a°,1). 为 了 得 到 E, 可 以 求 5 的 
A DFT, 利 用 式 (9.12);: 
E = Š = (0, 0, a°, a®, 0, 0, 0) 

译 码 结束 ,结果 和 前 面 一 样 ， 

结束 本 和 节 之 前 ,我 们 简单 讨论 一 下 RS 码 的 两 个 重要 应 用 :纠正 突 发 错误 与 级 联 三 。 

可 以 利用 例 9.8 来 说 明 纠 正 窗 发 错误 的 应 用 。 在 该 例题 中 我 们 看 到 了 GF(8) 上 (7,3)RS 
码 的 作用 :纠正 两 个 符 民 错误。 但 是 订 以 不 把 每 个 码 字 看 做 GF{(8) 上 的 一 个 7 维 矢量 ,而 是 通 
Ht 9.4% { 汪 {8) 的 每 个 元 素 扩展 为 -- 个 3 维 二 进 制 矢量 ,由 此 将 这 些 码 字 转 换 为 21 维 二 进 
制 和 拓 量 。 撞 句 活 说 , GF (8) 上 的 (7,3)RS 码 可 以 看 做 一 个 G8 (2) 上 的 (21,9) 线 性 码 。 例 如 ， 
HE 

C = (a°, z, a, HI, 0, af, l) 
i Oy HE i Re 
C = (011 610 010 001 006 011 001) 
现在 假设 C 的 二 进 制 形 式 通 过 二 进 制 信道 传输 ,并 受到 正面 长 度 为 $ RARE: 


Oe at 
错误 


—m 
E = (000 000 011 101 000 000 000) 


则 接收 到 的 矢量 将 是 ， 

R = (011 010 001 100 000 011 001) 
当然 , 它 在 4 个 位 置 与 CC 不同。 通常 ,一 个 (21,9) 线 人 狂 码 很 难 或 者 不 可 能 纠正 4 个 错误 (见习 
题 9.33), 侣 是 我 们 观察 到 当 将 映射 为 GE) 上 的 一 个 了 维 矢量 时 ， 
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E = (0, 0, a’, af, 0, 0, 0) 
EMH AB 2) 即 这 四 个 特定 的 错误 发 生 在 一 个 短暂 的 突 发 时 间 内 ,我 们 可 以 利用 这 一 有 
利 条 件 。 因 此 如 果 将 及 转换 为 CFS) PRI TARE, 
R = (a’, a, 1, a’, 0, af, 1) 
就 能 够 {在 例 9.8 中 已 经 完成 了 ) 通 过 图 9.4 或 图 8.5 中 的 说 码 算 法 ,发 现 错误 图 案 并 纠正 错 
P. DOF, ROE RS 码 就 变 为 一 个 (21,9) 二 进 制 线性 码 , 它 能 够 纠正 多 种 图 案 的 突 发 第 声 - 
94 it GFI8] 表 示 为 o AA aai 


a! 


Gria ea 


! 

Ü 00] 
l Ü1Ü 
2 100 
3 0l] 
4 110 
5 ES 
6 101 


推广 是 这 样 的 :一 个 GF(2”") 上 码 长 为 n AEs ARR BSB, ATE ANT GFE 
的 (m(2 — 1), m(2" -1-21)) 线 性 码 应 用 ,并 且 只 要 突 发 错误 图 案 的 影响 不 超过 码 字 原来 
GF(2") 形 式 的 上 个 符号 ,该 线性 码 就 能 纠正 这 样 的 突 发 销 证 。 

最 后 介绍 的 是 RS 码 在 级 联 码 中 的 应 用 ,这 方面 我 们 在 第 6 章 里 已 经 简单 提 过 。 下 面 通 过 
一 个 具体 的 例子 来 说 明 

设 (7,4) 二 进 制 汉 明 码 用 于 一 个 BSC ,该 BSC 的 错误 概率 为 p =0.025, 如 图 9.6 所 示 。 利 


用 图 9.6 的 符号 , Pix | = hal O- Py “=0.0121。 级 联 码 的 思想 是 将 图 9.6 中 的 


“编码 器 - BSC - 译 码 器 "部 分 看 做 一 个 更 大 的 噪声 信道 , 称 做 外 部 信道 (BSC 本 身 则 成 为 内 部 
信道 ) ,并 为 它 设计 一 个 码 。 在 本 例题 中 ,外 部 信道 是 一 个 有 16 种 输入 的 DMC; fi s 2 h Pid 
论 .我 们 将 这 些 输 入 和 输出 看 做 是 GF(16) 中 的 元 素 , 而 不 是 GF(2) 上 的 4 维 矢量 。 因 此 现在 
考虑 利用 GF(16) 上 的 (15,11)RS 码 来 降低 外 部 信道 的 噪声 ,如 图 9.7 所 示 。 





外 部 信道 
图 9.6 (7,4) 汉 明码 应 用 于 一 个 p =0.025 的 BSC 








C R 


图 9.7 (15,11) Reed-Solomon 码 应 用 于 图 9.6 中 的 外 部 信道 
ea 97 FA HH) RS ey Bik HX GF(16) 中 的 l! T AAS a 一 (aga a, (Eis Baie 
输出 的 44 比特 ) ,并 产生 一 个 RS BF C= (Cy, C... Cu) AMA THT C. HB R= 
(R; s Righe 然后 RS 译 码 器 产生 一 个 a 的 估计 值 b= (bgt bo), MOS aaa E a 
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APERTAS bRe F a. WMH el e012 RRA 9.6 PEAR. IDH 9 7 


PT a) RNE AE Se at 7., id El=e) =0.0007. E 9.7 =) pty i Ay ee ee ñ! 
k 


EE INS x 4/7=0,42; 358 F k RE — F105 44) LE EET, EL ph gA 
WFA WU T- WK alle 6 a H p TE A Ey k RRRA ee, ASEA 
127 HESSIE 0 0127.37) E| BCH 码 进 行 比 较 。 该 BCH MAJER (0.45) 8k 5 — 
BS , 面 译 三 错误 概率 10.000 4) 覆 尾 一 些 ,但 是 它 的 详 码 复 傈 度 却 相当 商 一 一 这 个 BCH a 
Wi MENA RE COREN F 11 KERA. Amai 晤 码 的 错误 位 置 多 项 式 
硬是 EFT115) 上 的 一 个 2 K rp t. 

上 面 的 例 手 既 说 明了 级 联 码 的 基本 思想 ,也 说 明了 RS 码 在 级 联系 统 叫 如 此 重要 的 原因 ， 
任意 的 编码 通信 系统 都 可 以 被 让 当 是 一 个 赚 志 外 融 信 道 , 如 图 9.8 所 示 。 然 面 , 汶 合 这 种 再 点 
有 有 意 立 ,就 上 希 设计 一 个 外 部 三. 它 做 皇 刀 正 外 部 信道 产生 的 太志 束 错 误 , 这 个 外 部 信道 祖 可 
能 非常 复生 ,因为 它 的 错误 是 由 内 部 译 的 器 的 先 败 造成 的 。 当 内部 去 码 兢 具 陈 时 . 团 图 9.6 中 
Cay "S ty ee ity BP. FEE eo oy BS LRAT. Bee 
‘Thien p Ra fE KW 9 k Pse ih. 面 我 们 已 经 看 到 RS Maa FALE 
SPH. TRE RS SPE APR ie i HI EP 





Hoe — PRN, Pe ee SS IS B Se 9.5 tee) 


9.7 出现 删除 时 的 译 码 


我 们 已 经 看 到 BCH EPA 娩 码 者 能够 麟 正 志 个 错 渴 ,在 本 节 中 将 看 到 它们 也 能 蔬 正 为 一 
ee Ree Ee ee E| PS. DG. 3 W x 
单词 BLOCK, A= PF OER) Ae BLACK A RERS T [u E Ng 
PWR. Am weep ea = PR FH Y — TR, On ee BL CK, 其 中 
"s “Bondar. (eS Pp NEA. “REA SOP RI, Ee 
有 可 能 出 现 。 例 如 ,如 条 你 在 机 场 谈 语 , 一 架 低 京 飞 行 的 喷气 式 习 机 刚好 从 你 未 上 飞 过 , 则 你 的 
谈话 就 被 消除 了 。 吓 你 涪 话 的 大 不 会 对 休 说 的 话 产生 误解 ;他 们 只 是 不 能 听 懂 你 在 说 什么 

在 未 季 中 ,将 学 习 一 些 刀 正 删除 的 知识 。 我 们 会 看 到 在 型 论 上 ,纠正 一 个 制 除 的 难度 只 相 
当 于 得 正 一 个 错 说 的 难度 的 一 半 ( 定 理 9.11); 间 且 例 看 天 应 访 怎 样 改进 BCH 和 RS eee 
Wh, RAS ER. 

* T ae tiet et A CT a E F H K 5 
Pork) « | Jes "a ci. 2 — ee. RMS LE F hhg Gam, B 
É FP Re RE), Felt RAMEE ER 
定理 了 .2 比较 ) 
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定理 9.11 令 忆 是 符号 集 丰 上 的 一 个 码 , 具 有 最 小 距离 d. ÚW Efe. +2e = d- 1,C H 
能 够 纠正 任意 由 ei 个 删除 和 el SRAM BR, 
证 明 : 为 了 证 明 这 个 定理 ,首先 引入 下 中 符号 间 的 扩展 汉 明 距离 d(x ,+);: 


í) waxes y 
d (x, y) — 1 Rx Z Y H. xe y RARE T ee 
l 如 果 X A y Bate PHA < o. 
全 如 ,如 了 F = D, I|, F = 0,1, #1, a dy (0,1)=1,d (1, # )=1/2,d,(1,1) =0- 然后 将 dj, 前 
定义 扩展 到 矢量 x=(4,.°°44%,)5 VSS yu a )Z B] x Fo y DEAF 中 ,如 下 所 示 ， 


d uix, y) = y ` d (Xi vi) 
r— | 


根据 这 个 定义 ,du EAF LAA 维 失 量 的 集合 "上 的 一 个 度量 。( 见 习题 9. 各,) 实 际 
上 ,如 果 色 和 YY 中 都 没有 删除 ,d(x,y) 就 只 是 普通 的 xX 与 了 之 间 的 汉 明 距离 

术 下 来 介绍 一 种 特殊 的 译 码 算法 , 称 为 码 Ç 的 最 小 距离 译 码 (MDD) 算 法 。 当 一 个 接收 到 
KH R€ F" 作为 MDD 算法 的 输入 时 ,将 产生 一 个 码 字 C, 作为 输出 ,使 扩展 汉 明 距离 
deC ,R) 最 小 。 我 们 将 证 明 ,如 果 eg +2e,¢d-1,MDD 工法 和 将 纠正 en 个 删除 和 e 个 错 
误 ,这 样 就 证 明了 定理 9.11。 

因此 假设 C AAR YS Awe? RAL T eo 个 删除 和 e 个 错误 ,其 中 e, +2e,< 


d-1, WRRAC, 受 干扰 后 的 样本 , 则 d(C, R) = betee ld- 不 可 能 再 有 


其 他 的 码 字 会 距离 REAR, AAR dy (CR) <z(d-1), HY iz i EREA £ 
等 式 ， 
d(C; C) = dy(C,, R) + du(R, C,) 

<;(d- I+ 5d - l) 

=d-} 
而 这 与 码 的 最 小 距离 是 d RARA A. TR, (CRIBB RAA j= i RAR 
的 ,因此 MDD 算法 将 正确 识别 出 实际 发 送 的 码 字 CC, 

例 9.9 令 C 是 例 8.2 中 的 (7,3) 捅 环 码 ,具有 码 宇 : 

Cy = 0000000 

C, = 1011100 

C, = 0101110 

C; = 0010111 

C, = 1001011 

Cs = 1100101 

C, = 1110010 

C; = 011/001 
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因为 这 个 码 是 线性 的 , 它 的 最 小 距离 应 等 于 它 的 最 小 重量 ;因此 d=4。 根 据 定 理 9.11, 如 
Roe +2e, <3, EP BREBSA E e, 个 删除 和 el 个 错误 下 表 列 出 了 允许 的 删除 和 鲁 


iE YAS: 
én 全 1 
3 Ü 
2 Ü 
! ] I 
1 
0 
0 l 
心 Ü 


例如 ,假设 接收 到 月 =[1110*01]。 MDD Bik seit F FR: 


i dnl C, R) 期 除 的 位 年 措 误 的 位 置 
() 4.5 14! 10,1,2,6) 
l 3.5 i ‘1,3,6! 
1 2 5.5 ce |0,2,3,5,6: 
' 3 3.5 14: 10.1.5i 
i 4 4.5 4. 11,2,3,5| 
5 1.5 4! iZi 
ú 6 2.5 4) 15.6 
7 2.5 i4] 10,3; 





因此 ,MDD 将 输出 C. S HERR AGE 4 出 现 了 一 个 删除 ,在 位 置 2 出 现 了 一 个 错 
3% Be, =1,e, 二]。 男 一 方面 ,如 果 有 R=[* * * 10101, 将 进行 如 下 计划 : 





i 7 dyi C, A) We Bk fr fcr E ik iE 
0 3.5 E 10,1,2! 13,5: 

| 3.5 10,1,2: 14,5: 

2 2.5 |0,1,2! j4 

3 4 .5 0,1,2: 3,4,6! 
d 2,5 0,1,2] li 

5 5.5 '0,1,2! 13,4,5,6 
6 2.5 "0,1,2! 13: 

7 3.5 1i0,.1.21 |5,6: 


这 时 商法 面临 着 一 个 三 方 平 局 (在 CC 和 CC, 之 间 ), 但 是 不 论 它 在 这 三 个 码 守 中 选择 

哪 一 个 ,都 会 得 出 结论 , 码 字 在 传输 中 出 现 了 3 个 删除 和 1] 个 错误 ,而 这 已 经 超出 了 码 的 

纠 错 能 力 。 

定理 9.11 根据 码 的 最 小 距离 ,从 理论 上 给 出 了 -个 码 纠正 删除 和 错误 的 能 力 。 但 是 从 实 
际 应 用 的 角度 来 看 ,证 明 中 所 采用 的 MDD 算法 还 有 很 多 不 足 , 因 为 除非 码 非常 小 ,否则 将 接收 
字 与 每 个 码 字 进 行 比较 显然 是 不 现实 的 。 幸 运 的 是 ,对 于 BCH 和 RS 码 , 通 过 对 9.6 节 提 出 的 
基本 " 单 纠 错 " 译 码 算法 (图 9.4 和 图 9.5) 进 行 简单 地 改进 ,就 能 使 它们 噬 能 纠正 错误 ,也 能 纪 
正 删除 。 在 本 季 的 剩余 部 分 ,将 讨论 这 个 问题 。 

BCH 和 RS 码 的 纠正 删除 和 错误 的 译 码 算法 实质 上 是 相同 的 ,这 类 似 于 它们 的 单 纠 馆 译 


- ` "x 
eat RR EE i ehh pe aan a a aa ne er ee ee a Sa A ht oT er — dr i hr 
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码 算 法 ,但 是 为 了 精确 描述 ,这 里 仪 考虑 RS 码 。 在 本 节 的 最 后 ,将 讨论 BCH 码 所 需要 的 简单 
改动 。 根 据 定 理 9.7, 一 个 (n ,RS 人 码 的 最 小 距离 是 +1, 其 中 =n-k。 因 此 根据 定理 9.11 
会 有 下 面 的 结论 ， 
定理 8.12 CAAF EAA n, ORS SHS, WARE eter, Fran- k, CH 
ALS Ee 个 删除 和 e 个 错误 组 成 的 任意 图 业 。 


现在 ,开始 讨论 RS 码 的 纠正 删除 及 错误 的 译 码 算法 。 假 设 皆 定 一 个 接收 天 量 R= (总 ， 
Rio Ry) EAT ERS QPP RAIS C= (Co C. C. ERE, A RS 
码 的 和 牛 成 多 项 式 为 gelx)=lx-a x-a relr- ), 其 中 r=n-k 这 里 假设 及 中 会 有 e, 
个 删除 和 e 个 错误 ,并 且 ee +2e 万 +r。 详 碍 算法 的 第 一 步 是 在 储 删 除 的 位 置 , 为 此 先 定义 基 
除 集 合 万 为: 


A E E (9.73) 
然后 计算 删除 位 置 多 项 陈 ola): 
Go{x) = jla 一 ix) (9.74) 
ief 


[ 如果 没有 删除 EX go(x) 为 1;] 

一 日 删除 位 置 被 “储存 "在 cu(xz) 中 ,算法 就 将 及 中 的 * 蔡 换 为 0, 即 定 久 一 个 新 的 接收 矢 
BR =(R R e, RE O 如 下 : 

ga 1 paar (9.75) 

将 * 替换 为 0 的 好 处 在 于 0 是 域 下 的 一 个 元 素 , 因 此 可 以 对 R' 的 任意 分 量 进 行 算法 操作 。 这 
样 做 的 缺点 是 , 当 将 R' 看 做 CC 的 受 干扰 样本 时 ,R' 中 有 e + ei PIR” ,可 能 超出 了 这 个 码 
纠正 错误 的 能 力 .然而 ,正如 我 们 将 要 看 到 的 ,通过 利用 删除 位 置 多 项 式 o, ( xj) 提供 的 "侧面 
信息 ” ,R' 中 的 错误 都 能 被 纠正 。 

完成 这 个 预 “ 删 除 处 理 ? 以 后 , 接 下 来 的 译 码 算法 类 似 于 只 纠正 错误 时 的 算法 、 下 一 步 是 
计算 伴随 式 多 项 式 Six) = S+ Sox tet Sx ,其 中 ， 


n—l 
S=) Rial, Jakies 
i=O 


NE E NEHER AEE HCE E e, E DAE = R' - C, “SRR 8 PS É pe E V 
为 : 


V = (Eb, Eja, t, Eha" ) (9.76) 
则 根据 9.3 TROCA S(x) = V(x) moda’ ,关键 方程 (49.37) 式 变 为 : 
G(x)S(x) = w(x) (mod x') (9.77) 


其 中 a(x) 是 矢量 VY 的 位 置 多 项 式 ,w (x) 是 矢量 VY 的 数值 多 项 式 。 从 现在 开始 ,我 们 将 称 
a(x) ARAM REE SHR, ow ARAM SEF HK, 
下 面 来 关注 一 下 错误 及 删除 位 置 多 项 式 ols) RITA: 


r, í zct 
i EANN OZ CTAA! 7 a i s: 
` I F: z š: at x, i 
= a = (46. . bir erik = 


Va 一 


CT 


r oor 
RE 


Tr 


bb Fe w TT Ee Era. 
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g(x) = | |(] — a’x) 
l! * (9.78) 
其 中 了 是 错误 及 删除 的 集合 , 即 ， 
I= UI (9,79) 


这 里 ¿L 是 成 {9.73) 中 定义 的 删除 集合 ,而 7, 是 如 下 由 多 的 错误 全 合 : 
fy = {i: R,A#+*FFAR: ÆC} 
因此 由 式 (9.78) 和 式 (9.79) 得 出 : 


A(x) = aalala) (9.80) 
其 中 m(z) 如 式 (9.14) 所 定义 的 ,而 
ni) = [fd - a's) (9.81) 
ies) 


很 自然 ,可 以 称 o,(x) 为 错误 位 置 多 项 式 。 
现在 转 到 关键 方程 (9.77) 式 。 根 据 式 (9.80) ,我 们 已 经 知道 a(x) 的 一 部 分 , 居 golx), 因 
此 译 码 算法 的 下 一 步 星 计算 修正 的 伴随 式 多 项 式 Sx) ,定义 如 下 : 


Sot} = oo(x)S(x) mod x” (9,82) 
结合 式 (9.77) sh (9. 80) AIR (9.82) ,关键 方程 变 为 ; 
g(x) So) = a(x} (modx") (9.83) 


现在 , 译 码 器 已 知道 Sy (a) ,并 希望 利用 欧 几 里 得 算法 计算 出 o, (x) Al w(x)。 这 可 能 吗 ? 3⁄ 
案 是 肯定 的 ,因为 我 们 有 : 

deg a,(x) = el 

deg w(x) = eg +e, —1 
VAHE ABET e, + 2e, = r, BREA deg g, + deg w = e + 2e, — 1 < r = deg xo 虽然 
god(o(x) ,w(x)) =1 人 吕 能 不 再 成 立 ,但 十 ged( ol(x) ,w(x)) =1 成 立 (见习 题 9.45)。 因 此 根 
据 定理 9.6, 如 果 适 当选 择 e Mor, MEF Euclid( x ， Sair) u, OHE E a (z) w(x). 根据 
下 面 的 推导 选取 pj: Ay 由 于 eo +2e( = r, a: 





deg a (x) =ë = r 


因此 deg o (x) <L€r-e,)/2] o E, 





F — eo 
deg ol) = e Fe ~1 Sen + | ú 
o | & + €o _] 
E 2 
= r+ en _ 1 
2 


很 容易 证 明 | r- eu)2 +0 (r+ ee V21=r( RAB 9.43), AMR x: 
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| (9.84) 
v= — | 
2 


则 程序 Euclid( 2’, Sola), u, r) E yi | — BoA Cola), rsj 使 得 or (x) = Avla), 
wlxd=dAr(x) HPA 是 一 个 非 零 标 重 。 为 了 寻找 4, 考虑 到 a (0) = 1[/ W2009.81)), 
此 有 : 
g (x) = v(x)/v(0) 
wx) = r(x)/v(0) 
现在 ,计算 出 删除 位 置 多 项 式 eofxz) 和 错误 位 置 和 多项式 o (x) fa BIR 323 z RR 
一 一 见 式 149.80) KU ae a eA SS IK of x). 
现在 ,已 经 计算 出 删除 及 错误 矢量 EE' 的 位 置 多 项 式 oa( x ) 和 删除 及 错误 数值 多 项 式 w( x)， 
接 下 来 的 译 码 可 以 利用 9.6 入 介绍 的 “时 域 完成 法 "或 “ 频 域 完成 法 "实现 。 图 9.9 中 总 绪 了 纠 
下 错误 及 删除 的 译 码 算法 . 


/*RS Errors-and-Erasures Decoding Algorithme/ 


l 
Tnput Jo; ea = Mol; 
GofX) = Il re fol | — G x): 
for (i € fg) 
i R, = Ü; 
fory 2 ee) 
S; = Yo Ra"; 
S(x) = Sy + Sax to + Sr; 
| So(x} = Go(x)S(x) mod x’; 
u = |(r — ea)/2]; b = [(r + eo)/2] — 1; 
Fuclid(x’, So(x), 4. V); 
G ((x) = v(x)/ CO 
w(x) = r(x)/u(0); 


G (x) = Golja) 


| (Time-domain completion or frequency-domain 
completion) 


| 图 9.9 当 出 现 删除 时 ,RS( 或 BCH) 码 的 译 码 


S10 现在 以 域 GF(8) 上 ,生成 多 项 式 为 g(x)=(x—a)x—- a)(x- a )(lr -oa )(x~a }= 

i x" + a’ x! +a x + a’ x” +a xta 的 (7,2)RS 码 为 例 , 来 说 明 RS 4 ó: 4 iE WW t AB AR TE 

Wk, (AGE GFB P MARA a 是 CF(2) 上 本 原 多 项 式 z) + x + 1 的 一 个 根 ,j 码 的 元 

l 余 是 了 =5. 因 此 根据 定理 9,.11, 只 要 e + 2e, 55, AEB Pl E e, 个 出 除 和 e, 个 错误 组 成 
的 性 意图 案 。 我 们 取 被 干扰 过 的 码 字 为 ; 


R = [a’, a’, a, x, a’, a*, a] 


ji 1, Waw bzf 


"a - 
LT 


er 


Pae WAE nie L Te —a = Ew a ClULF a i r sun = 


; 
| 
1 
l 
i 
! 
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并 设法 利用 图 9.9 PH RAAT CUTE, 
译 码 算法 的 第 一 步 是 “删除 处 理 " ,在 这 种 情况 下 就 是 通过 简单 地 观察 得 出 删除 集合 为 帮 = 
i13| , 因 亚 eo = 上 ,一 除 位 置 多 项 式 为 ， 
go) = 1+ gr 
nS IE 5 WF KE R' HA: 
R’ = [a’*, a’, af, 0, a’, at, a°] 
接 下 来 的 一 步 是 利用 R T RAMA ME S,,5,.83,5,,55. RMA: 
S, = at + Pt + aht 4 Gt 4 ai + att 
经 过 常规 的 计算 ,可 得 出 : 
S, = 1, S; = l, S = a°, S4 = 0, Ss =a" 
因此 改进 后 的 伴随 式 多 项 式 S (x) A: 
So(x) = (1 + x + atx? + a? + atx Al + a?x)(mod x?) 
= 1 + ax + ax + at? + xŠ 


Te =l, =5, FRM u Foy 为 : 


因此 需要 调用 Fuelid( z. S.(r),2,2). OMO R CEI HRE.: 





į v, r, q 


-i 0 3 _ 
0 | cit ats + atx’ + ant] -一 
l x + a" atx` + a x? + at x + 2 x+ z" 
2 asta z + zŠ a x° + r+ m° ote + a° 


Euclid( x*, S,(x),2,2)3& Eon lx), r,(x))= latr + aty + awa x qa y +a) ATE, 
CTX) = GD, (X) = atx? + Q + Í| 
w(x) = arn(x) = ox +afx+ 1 

最 后 ， 

a(x) = oloa) = x? + ox ar 
ERT abe RAIL SD, Ep É] 9.9 中 所 描述 的 算法 部 分 。 现 在 将 利用 时 域 
和 应 域 完 成 法 这 两 入 方法 实现 译 码 。 

对 于 时 域 完成 法 ,我 们 注意 到 g(x)= x + a° ,并 计算 出 FR: 
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i ria ') d'ia’) wla!) E=wla yata") 
0 0 zŠ a at 

] a” 

2 at 

3 0 ut a? it 

4 0 l a? g? 

3 a? 

6 a? 


Athi AMP EA E'= [o,0,0,aa,0,0]( 这 意味 着 除了 在 位 置 3 的 一 个 删除 外 ， 
在 位 置 0 和 位 置 4 处 还 有 两 个 错误 ) TARE SARS AC=R+E',", 

C= [9, a’, ab, a, a, at, a] 
xf PHI Me, CBP SS, S,,5,,5,, B ti Ja 

S, = êS; + os, 2 + S)-3 
[ 因为 o(x)=l+a xta x tx JHE S ág S,(= S) IE Se= a ,So 565. 这 样 ,完整 
EM AKES A: 

S= [a?, 1, 1, œ, a’, a, a°] 
现在 计算 9S 的 反 DET, FF, 

E! = oe deg Lya taAa tap gi pat 


= gf p ab pat gai gp at 4. ght?! ot 


E' = [at, 0, 0, a, a, 0, 01 
与 时 域 完成 法 的 结论 相同 。 因 此， 
C = [0, a’, af, 0 
在 结束 本 节 之 前 ,最 后 简单 讨论 一 下 当 出 现 删 除 时 ,BCH 码 的 详 码 问 题 。BCH 码 和 RS 码 
的 (只 纠正 错误 时 } 译 码 算 法 间 的 关键 差别 是 ,对 于 BCH ,一 旦 错误 被 定位 ,就 不 需要 对 它们 
进行 求 值 了 ,因为 惟一 可 能 的 错误 值 是 1。 这 意味 着 当 出 现 删 除 时 ,图 9.9 中 的 算法 仍然 适用 
(FA 2: 替换 7) ;而 BCH 码 译 码 的 惟一 简单 之 处 体现 在 时 域 完 成 法 的 实现 中 。( 比较 图 9.1 和 
图 9.4.) 


9.8 (23,12)Golay 44 


本 节 中 将 讨论 一 种 非常 完美 ,但 是 却 不 能 通用 化 的 码 型 , 即 二 进 制 (23,12)GColay 码 。 有 人 
认为 它 基 惟一 一 种 最 重要 的 纠 错 码 。{! 还 有 -一 个 GF(3) 上 的 (11,6)Golay 码 ; 13 9.64 至 
“J iil 9.67.) 

这 里 首先 介绍 -- 个 重要 的 数论 依据 。 在 6F(2) 上 的 23 维和 失 量 空间 {我 们 称 之 为 Vw) 中 ， 
一 个 半径 为 3 的 汉 明 球体 内 含有 


I nb ld i -re = 一 一 = = x 








` 
Lam ee a eo rr 


wm 
wn NT Lk n L 


haraa m: er 





"ptim = 


- 
Taalma rr Lr TS a de a a Xr gp e r. — 


Ee i ee pe u=. 


TT | 
工 
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1 +4 (77) + (3) + (3) = 2048 个 矢量 
而 2048=2 正好 是 2 的 寡 , 由 此 会 想到 ,能 和 否 用 4096 =2* 个 半径 为 3 的 球体 完全 十 满 V., ,用 相 
玫 之 间 没 有 重 亚 。 如 果 能 完成 这 个 组 合 的 奇迹 ,球体 的 中 心 就 能 组 成 一 个 码 , 亡 包含 2 个 码 长 
为 23 的 码 字 { 速 率 = 12/23 = 0.52) ,能 够 纠正 任意 重量 三 3 的 错误 图 案 。 在 本 节 中 ,不 仅 要 证 明 这 
样 的 填充 是 可 能 的 ,还 要 证 明 球 体 的 中 心 可 以 作为 一 个 (23,12) 汪 进 制 循 环 码 的 码 字 ! 
那么 用 编码 理论 的 术 清 来 诽 ,我 们 需要 构造 一 个 (23 ,12) 二 进 制 循环 码 ,能 够 纠正 3 个 错 
误 E duj MIRAI Cr (2 ) 的 基 些 性 质 来 实现 这 个 构造 . 央 为 2 -1=2047 = 23-89, 
所 以 6 一 定 售 有 一 个 2 阶 本 原单 位 根 ,我 们 称 之 为 8。8 在 GF(2) 上 的 最 小 多 项 式 为 
e(x)=lyeg(a- y). HP B= {18 :i=0,1,2,…| 是 8 的 共 罗 类 的 集合 。 通 过 简单 的 计算 可 
以 证 明 8 仪 售 11 个 元 素 ; 实 际 上 ， 
sw = | - > (9.85) 


yes 
其 中 ， 
B= {p> j= 1, 2, 4, 8, 16, 9, 18, 13, 3, 6, 12} 
同 理 , 8 = Oe) ey: 
g(x) = ffe- y) (9.86) 


yEB 
其 中 ， 
B = (ñ : j= 22, 21, 19, 15, 7, 14, 5, 10, 20, 17, 11} 
因为 除了 1 以 外 ,每 个 23 阶 单位 根 都 是 g(x) 或 g(x) 的 一 个 零点 ,所 以 在 GF(2) 上 将 a” - 1 
分 解 为 不 赴约 因 式 : 
x — 1 = (x — l)g(x)8(x) (9.87) 
zF; F. AY Le uE BB * N 


gO) = xt xl 4 x L x+ att x? +1 ' 


但 是 在 本 节 的 其 余部 分 并 不 需要 这 个 显 式 分 解 。 现 在 可 以 定义 Golay 码 了 。 
EM (23,12) Golay 码 是 一 个 二 进 制 循环 硒 , 它 的 生成 多 项 式 g (x) h N (9.85) < 
A(9.88)2 X, 
ALE BE SE Ba Pt > 7. UEHARA 2 dF 5 BD o 
引 理 3 每 个 非 零 Golay SEM EEA 25, 
证 肯 ; 者 虑 到 g(x) 的 零点 集合 日 的 结构 [参照 式 (9.85)] ,我 们 着 到 对 于 每 个 码 字 的 生 丰 
GH C(x), 有 : 
CB) = C(82) = CB) = CP)=0 (9.89) 
因此 根据 有 关 BCH 码 的 论证 (定理 9.3), d. 25. 
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考虑 到 引 理 3, 还 需要 证 明 的 是 ,不 存在 重量 为 5 或 6 的 码 字 下 一 个 引 理 使 我 们 将 注意 


力 集 中 在 偶数 重量 的 公 字 上 ， 


II 


引 理 4 RA 表示 重量 为 了 上 的 Golay 4F ARA, WF 0gig, A: 

A, = Az (9.90) 
WEAR : 7236 4.(9.87), e( x) glx) =(x”— )/(x-l)=l+zx+ x + + x”,B k W 3k & E 
K = (11111... I) £ HAARAF, Bits K Ju š — OE 9.32 CFL ,就 得 到 一 个 重 
$4523 i 4S ar. A COo C +K 5 aF SK e et SEE- i HS 
字 之 闻 的 一 一 对 应 。 
一 个 引 理 排除 了 重量 为 2.6.10,14,18 和 22 的 个 字 ; 根 据 引 理 4, 它 也 排除 重生 为 1， 
13,17 和 21 的 础 字 ,由 此 证 明了 Golay BRAVE > 7. 
5/725 wR C-AR RAEE wt) Golay BF, w= O( mod 4), 
WEA: Cl AR CHAR DHE, EF, 


C(x) = x8! + x? j+... + x°" (9.91) 
EF Ome, < e; <: < e, 322, HT CAT Golay 码 , 有 C(tB)=0, 即 ， 
C(x) =O (mod gtx)) (9,92) 
RYT CLARKE SE. A C1) =0,7, 
C(x) = 0 (mod (x — 1) (9.93) 
现在, 如果 定义 C(x) 为 : 
Cl t px pe yem (9,94) 
Sop eae 23 BRA 2249 C8!) = C( 8) =0. 9, 
C(x) = 0 (mod ë(>)) (9.95) 
$b K (9.02) A(9.93), (9,95) 5 A(9.87) RATA : 
COC) =0 (modx2 — 1) (9,96) 
现在 利用 定义 式 (9.91) 和 式 (9.94) ,来 实际 计算 Cla) C(x) moda” - H): 
C(x)C(x) = Sox (mod x” — 1) 
j=] 
be; 2 __ 
nera (mod x2? — 1) e 
= So xee (mod x” — 1) 


j=l 
iF} 


[得 到 最 后 的 全 等 式 是 因为 w 是 偶数 , 且 所 有 的 计算 者 发 生 在 GF(2) 中 ,| 因此 ， 


22 
CCI = D apx? (mod Fiel) 
b=] 


- 
Xú a la a Le ee a eres eed en 


加 

waz ae LE py haa a A RE At a Det = “kapa Lra ay 一 
a 

4 
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其 中 op, 是 满足 ee = bimo 23) 的 有 序 对 人, 门 的 个 数 。 根 据 式 (9.96) ,每 个 jx 都 是 偶 
HE : 


us =f (mod2), b=1,2,-°°, 22 (9.98) 
现在 ,如 果 e. 一 e = bh, MELA e 一 e = 23 — b (mod 23), TÆ, 
Hb = MH-m Tlo, 11 (9.99) 


最 后 ,因为 在 式 (9.97) 右 全 的 求 和 中 有 wlw- DA, R, 
22 
DHs = w(w 一 了 (9.100) 
b=1 

tk & K. (9,98) A.(9.99) fe K.(9,100) ,我 们 有 : 


22 
wow — l} = Y Hh 
b= | 
il 
= 2d un 
b= 


=Ü (mod 4) 
Bt wlw 1) 4M—- MER, BEAM w- ATR, HR tw 本 身 是 4 的 一 个 昼 数 ,证 
毕 。 
将 引 理 3. 引 理 4 和 3 引 理 $5 结合 起 来 ,就 得 到 下 面 的 定理 。 


定理 9 13 T i=0,7,8,11,12,15,16 和 23 以 外 ,(23,12)Golay 码 中 重量 为 其 他 i TB t) 
三 字数 目 是 日, 因 地 以 码 字 为 中 心 .半径 为 3 的 球体 确实 是 恰好 盾 满 了 Vao 


六 里 还 需要 提 一 下 ,(23,12})Golay HATA PRE ARE, MR C= (Ca, OL, 
C0,) 是 一 个 Golay 码 字 ,我 们 道 过 增加 一 个 总 奇偶 校 验 位 将 C 的 长 度 扩展 为 24, BIE S 5 24 
“FE C. SU F; 


Ca = Ca + O, 二 十 Co 


如 采 每 个 Golay 础 字 都 通过 这 种 方法 进行 扩展 ,得 到 的 码 将 尾 一 个 二 进 制 线性 (但 不 再 是 循环 
的 )(24,12) 码 , 称 为 (24,12) 扩 展 Golay 码 。 我 们 很 容易 证 明 下 面 的 定理 。( 见 习题 9.59.) 

定理 9.14 在 (24,12) 扩 展 Colay HPT 1 =0,8,12,16 fe 24 AS, SAKE i 值 的 

a H = O. 

(24,12) 4° RE Golay 8445 FRR BY (23, 12) Golay FLL. A PRE, (ET 
展 码 在 许多 应 用 中 更 容易 采用 。 首 先 ,因为 24 是 8 的 倍数 ,所 以 (24,12) 码 很 目 然 地 适合 面 问 
字 节 的 应 用 。 其 次 ,因为 扩展 码 的 最 小 距离 是 8, 所 以 如 果 用 它 来 纠正 所 有 含 3 个 及 更 少 个 销 
误 的 图 案 ,就 同时 还 能 检测 所 有 重量 为 4 的 错误 图 案 ， 其 至 很 多 更 高 重量 的 错误 图 案 , 而 原来 
的 (23,12) 殉 则 没有 这 样 的 附加 检测 能 力 ，( 见 习题 9.59, 习 题 9.62.) 

最 后 我 们 讨论 -一 些 Goa 码 的 应 用 问题 。 因 为 (23,12) 码 是 循环 的 ， 所 以 显然 可 以 为 它 设 
计 一 个 11 级 的 移 位 寄存 编码 器 ( 见 8.2 节 , 以 及 习题 9.60)。 但 是 设计 一 个 代数 译 码 算 东 就 不 


sr Er, a, 
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那么 容易 了 ;我 们 可 以 简单 地 改进 图 9.1 和 图 9.2 中 的 BCH 译 码 算法 ,使 其 能 够 纠正 任意 两 个 
及 更 少 个 错误 的 赂 案 , 但 基 这 个 码 “ 碰 巧 " 能 够 下 3 个 错误 1 不 过 位 和 运 的 是 ,这 个 售 足 够 小 ， 
所 以 了 .2 iri HE Wy Pep yk r U 算法 通 贡 是 实际 可 行 的 。《 册 习题 0.63.) 


rom h — 一 Lim. TL ere r Q= Press" h — = 


| 习题 

; 9.1 在 9.1 节 中 我 们 看 到 函数 KCV) = V 将 式 (9.2) 中 的 短 阵 H, 变 成 一 个 能 够 纠正 两 个 错误 
x 的 码 的 校 验 和 矩阵。 请 问 以 下 形式 的 也 能 做 到 这 一 点 吗 ? 

; (a) f(V) = TY, 其 中 是 TV 上 的 一 个 线性 变换 。 


(b) f(V)=a +a V+ a,V aB VE 6F{2) 中 的 一 个 元 紊 。 
(co) (CV) = VY ,其 中 WE GF(2"). 
U 9.2 假设 FETE qg 个 元 素 的 有 限 域 。 
i (a) 如 果 a 是 正中 的 任意 一 个 元 素 ,定义 (q ~ 1) 次 多 项 式 f. (x )=(r- l x 
fE F Sq 个 也 索 中 取 值 时 ,分 别 写 出 对 应 的 (x) 的 值 ， 
(b) 利用 (a) 的 结论 ,或 者 利用 其 他 方法 ,证明 任意 函数 f: F—= F ROT kon AIRE EI 
于 g 一 1 的 多 项 式 。 
9.3 {在 定理 9.1 的 证 明 中 用 到 了 范 德 蒙 德 {VYandemmonde) 判 决定 理 ,本 题 将 给 出 该 定理 的 一 
个 推广 ,) 设 P(x) 是 一 个 首 项 系数 为 一 的 i 次 多 项 式 , 其 中 让 =0,1,…,n 一 1, 并 设 丸 1， 
tx 是 互 不 相等 的 未 知 数 。 证 明 ， 


. Poly)... Pol ta) 
Pa) ... Pulte) eit š 
det I I = l 1] (x, = X;) 
i=l jt! 
Pr) -.. Pala) 


| (提示 ;如果 x = x, WSS F 0 ERA ES P, OO = x' 时 的 特例 。 
: 9.4 直面 列 出 了 一 段 计算 码 长 为 2" -1 纠正 上 个 错误 的 BCH GARR AN DRI: 


{ 
z el 
下 ls 
2 while (Sisnot empty) 
l 
uy = least element in $S; 
H = Hpi; 
do 


| { 
| delete u from S; 
à ko k—1; 

u= 2umod?™ — l; 


} 
while (u Z uo) 
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(a) DHH PLS R, ER RSE A 2” — 1 2 0E :个 错误 的 BCH 码 的 维 数 ， 
(b) 利用 上 述 算法 ,计算 码 长 为 名 .纠正 二 个 错误 的 BCH SER EP l<ia3t. 
9.5 (a) 证 明 : 对 所 有 m>3,— PBK n= 2" -1 纠正 两 个 错误 的 BCH A AER E n- 
2a 
(b) 证 明 :一 般 情 况 下 ,只 要 m BORK EB EW t1, — BEA a = 2” -1 .纠正 
i 个 错误 的 BCH 码 的 维 数 是 n — mt. 
(c) SR m, 的 最 小 值 ,使 得 对 任意 ne m0, 一 个 长 度 为 n =2” -1 工 纪 正 3 个 错误 的 BCH 
RHE RE n - 3m. 
9.6 (a) Oo letra 7 的 每 个 ALAS IS .纠正 上 个 错误 的 BCH 码 的 维 数 ， 
(b) 计算 {a) 中 的 每 一 个 但 的 生成 和 多项式。 假设 GF (16) 的 一 个 本 原 元 为 a, META 
esatl, (2E 3M 9.14) 
9.7 在 例 9.1 中 ,计算 一 个 码 长 为 5、 纠正 3 个 错误 的 BCH AAE MR ERT, i f GFG) 
的 本 原 元 a Pilla’ = e+1。 现 在 假设 我 们 选择 一 个 满足 o = a +1 的 本 原 元 , 则 生成 多 
项 式 会 大 怎样 的 ? 
9.8 ”证明 反 DFT 公式 , 即 式 (9.12)。 
9.9 考虑 有 限 域 GF{7), 它 由 整数 集合 10,1,2,3,4,5,6| 在 模 7 运 算 下 构成 。 
(a) 证 明 3 是 GF(7) 的 6 阶 本 原单 位 根 。 
(b) 设 3 就 是 所 需 的 6 阶 本 原单 位 根 , 写 出 矢量 WV = {1,2,3,4,5,6) 和 YW = (1,3,2,6,4,5) 
的 DFT。 
(c) 为 什么 到 的 DT 结果 要 比 V, 的 简单 ? 请 给 出 你 的 解释 。 
9.10 HEHAsK (9.17) PHBH V. HDFT 由 式 (9.18) 给 出 。 
9.11 (广义 BCH 码 ) 设 g(x) 是 一 个 系数 分 布 在 GF (g) 上 的 多 项 式 ,月 g(x) 能 整除 x" - I. 
进一步 假设 a 是 经 (9) 基 个 扩展 域 上 的 n 阶 单位 根 , 并 且 


g(a’) = 0, i= mp, mo + l, +, mo + d — 2 


Flt m, 和 d 均 为 整数 。 令 C 是 一 个 生成 多 项 式 为 g(x) 的 循环 码 。 WA C 的 最 小 路 
Bice d. (HEAR AAR BCH 论 证。) 

9.12 BCH 论证 (定理 OME Rr? 即 如 果 V 是 一 个 重量 为 w HRE, ERRA 
过 DFT 后 得 到 的 WY 一 定 含 有 不 少 于 w -1 个 的 连续 0 分 量 ? 如 果 你 的 答案 是 肯定 的 ,请 
给 出 证 明 ; 如 果 是 否定 的 ,请 举 出 一 个 上 反例。 

9.13 WP :gedí Ela), 1-a) [Lrtl a) ,其 中 人 x) 如 式 (9.14) 中 所 定义 ,7 如 式 (9.19) 
中 所 和 定妆。 

9.14 如 果 已 知 宁 中 任意 连续 d FOR HAE oy (+) ,证 明 其 余 的 分 量 也 可 以 被 计算 出 
来 (参照 推论 9.2)。 

9.15 表 9.f 中 列 出 的 GF(16) 包 会 一 个 5 阶 本 原单 位 根 , 记 做 ,在 本 题 中 , 它 将 表示 为 B. 
V=(1,6.9.0, P) E CF(16) 上 长 度 为 5 的 一 个 矢量 按照 9.3 节 中 的 定义 ,计算 
Voy al) (¿= 1,2,4), LAR wy lc), (参照 例 9.2。) 

9.16 在 例 9.2 H, V MARINA V =a ba 。 试 解释 "为 什么 "会 这 样 . [提示 :仔细 
分 析 忒 (9.,31)。] 


= 加 
| TE a na kma Ta he i ee TR eo oa 5 28 amas xs 


[ 
i 
1 
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9.17 


9.18 


k. 


9.2 


9.22 


9.23 


如 果 用 S, 表示 在 BCH 码 译 码 中 的 第 了 个 伴随 式 的 值 [ 参 照 式 (9.34) ] ERAT ATA ;, A 
Sy sos 
WR f(ry)= f + Aix) + + fz" 是 下 域 上 的 一 个 名 项 式 ,此 的 微 两 形式 f” (x EM 
F: 

f= fx + + fax 
根据 这 个 定义 ,不 考虑 极限 情况 ,推导 出 以 下 结论 ; 
(a) (f+8) =f +8 
(b) (/g)' = fe’ + fe 
(e) CP Y = mf lf’ 
(a) 如果 f(x) = TE (xz - 8) 

rw= 5 ]]e - 0 


(e) 如 果 FOO PERE, A 8. BRS 
— | (x 
Da S 
(a) 证 明 表 9.2 中 列 出 的 欧 几 里 得 算法 的 性 质 A~ F. 
(b) 证 明 ;: 在 欧 几 里 得 算法 中 的 最 后 ~-- 个 非 0 余 式 r (x) ,就 是 a(x) 和 btx) 的 最 太公 因 
于 ,并 证 明 式 (9.43) 成 立 。 
i alx)= x —- 1, b(z)= x° - 1 J 6F(2) 上 的 多项式 ， 
(a) 将 欧 儿 里 得 算法 应 用 于 多 项 式 对 (a(x),b(x)), 并 参照 例 9.3 列 出 求解 过 程 的 表 
格 。 
(b) Re eO,ve0,8 eter =, 对 每 一 对 (pv 计算 Euclid (a, b, p, v). {参照 
例 9.4.) 
(Pade 近似 } 设 4(x) = ap + a,x tape + EENE F BERR, WE jy 和 v 是 非 
条 整数 ,将 满足 下 列 条 件 的 一 个 有 理 函 数 p(x)/q{x) 定 义 为 4(x) 的 (jp,v)Pade 近似 
(a) g(x) AC) = pla) (med 7°") 
(b) deg g(x) aye, deg p(x) av 
利用 定理 o S EBA TFET (ev), #FfEME (po (x), go(x))( 不 考虑 标量 因 
子 ) ,使 得 如 果 (ay 和 (b) 成 立 , 则 有 p(x) = Xpo(x) ,g(x) = hqo(x), 其 中 4 是 一 个 非 零 标 
量 。 这样 的 -- 对 (po C(x), go (x)) 就 称 为 4(x) 的 (jyy,v)Pade 近似 。 参 考 表 9.3, 计算 
CRIDER AG(z)= l+ x+ x° + xt + xŠ +Ë Pade IFI Fri a + v=7。 
个 能 够 纠正 3 个 错误 的 (15,5)BCH 码 经 过 品 声 干扰 后 得 到 下 列 码 字 ,试用 例 9.5 所 示 
步骤 对 其 进行 们 但: 








R= Ro. ---, Ria] = [110101010010010] 
考虑 .个 码 长 为 3] .能 够 纠正 3 个 错误 的 BCH 码 ,由 满足 + a` + 1 = 0 的 本 原 元 a € 


GF(32)5E Xo 
(a) 计算 其 生成 多 项 式 。 
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(b) 于 下 列 接收 和 拓 量 进行 泽 码 :; [00000001 11 101011111011100010000 | . 
(e) 对 下 列 接收 矢量 进行 详 码 :[1011001111101010011000100101001 1]。 


9.24 Wo ERF ER n MERRER, OP, AmE ERR Ss k-1 的 多 项 式 集合 。 对 任意 


9.26 


9.27 
9.28 


9.29 


9.30 
9.31 


PCT, EARE COP) = (PC1), Pla), Pla" )), 

(a) WEH REA RE CCP) 构 成 的 码 是 一 个 MDS 码 , 并 找 出 相应 的 n, k Tü d. 

(b) 此 码 是 循环 码 吗 ? 请 解释 原因 . 

(e) Ib Ash (9.67) MB RS 码 是 否 有 关系 ?是 怎样 的 关系 ? 

设 下 是 侍 意 一 个 包含 a 阶 本 原单 位 根 & 的 域 、 如 果 i OB 之 间 的 固定 整数 ,而 
KH C=C CC 的 分 量 在 下 上 取 值 , 则 满足 以 下 条 件 的 所 有 矢量 C 的 集会 称 
为 替代 RS pi. 


A 
S Cat = 0. j=itiit2, ive 
t= 


(a) 让 明 j 面 定义 的 码 赴 一 个 (n,n -7 循环 码 ， 写 出 它 的 生成 多 项 式 和 最 小 距离 doin 

(b) 当天 = CF(8),n=7,r=4 而 i=1 时, 试 计算 该 蔡 代 RS 码 的 生成 多 项 式 g(x). (2 
照例 9.6。) 

(c) 设 在 上 存在 n 个 确定 的 非 0 元素, 记 做 yo,… Yo 说明 通过 将 原来 RS 码 [ 由 
st (9.67) ASE MISS (OC, CRAKE Yo Cot Yai Ooi) MA 1 
实现 从 原来 的 RS FSSA UE LA RS BAE. 

Ea BRR bin 阶 本 原单 位 根 ,C 是 一 个 码 长 为 n 的 线性 码 , 其 定义 如 下 :C= 

(CG. G. C a E CH -MEFN ROD BRITE: 

3 C. = Ü (mod x”) 


— = 
r— ~ a 





HP < 是 -一 个 未 若 参 数 

(a) HEHH C 是 一 个 御 环 二 。 

(b) 在 给 定 n Ar DROP ,计算 该 码 的 维 数 。 

Cc) 计算 该 码 的 最 小 中 次 。 

(d) C 和 定义 症 玉 上 .生成 多 项 式 为 z(x)= {xa),,.(x -a Hin, k) RS BERAR 
系 ? 是 怎样 的 关系 ? 

详细 讨论 GF(2) 上 所 有 MDS 码 的 性 质 。 

证 明 在 任何 域 上 ,下 述 的 两 种 码 都 是 MDS 45 . 

(a) (n IDERE. 

(b) (n,n - DRR E. 

E 97ER FREH n, hRS B, RRE REDERIER n-k +1. MA, 

如 果 天 域 中 包含 v 个 元 素 , 则 该 码 中 重量 为 n -上 上 +1 的 码 字 有 多 少 个 ? 《提示 :利用 定 

理 9 O.) 

利用 表 9.1, 计 算 GF016) 上 上 一 个 (15,7J8S3 码 的 生成 多 项 式 gtx):( 参 照例 9.6。) 

考虑 例 9.6 中 介绍 的 (7,3)RS 码 。 

(a) 找 出 惟一 的 一 个 码 字 (Cu G6) ,使 其 满足 Co =1,C =0,C,=0,. (EP 9.7.3 


TT -.1 
y 1 ` sx x 
' r ay F ' Eaa 上 T or ‘ 
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(b) 是 否 存 在 一 个 满足 Ca = a ' Gi =“, Ú. = | 3 C = Ü tS 
9.32 (7,3)RS BARA Tita Baal FR ,请 根据 例 9.8 对 其 进行 译 个 : 
R=(e@lacaiat] 

9.33 是 否 存 在 一 个 (21,9) 二 进 制 线性 码 ,能够 纠正 所 有 不 多 于 4 个 错误 的 图 案 ? 

可 题 9. 了 4 至 避 题 9. 扫 是 相互 联系 的 ,它们 将 介绍 一 种 RS BWR. PREM, 
最 后 将 给 出 构造 一 类 浇 各 的 码 Justesen 人 码 的 方法 ( 见 参 考 文 献 [151)。 这 类 码 之 所 以 重要 ， 
是 因为 它们 (以 及 它们 的 某 些 变形 ) 是 在 满足 下 列 条 人 忻 的 线性 码 中 ,惟一 知道 构造 方法 的 码 。 
它们 的 码 长 n SBR k URES d. HE: 


lm z, = oc 
io 





tim k,/n, > 0 
[E 


lim di/n > 0 


(参照 习题 9.39 的 结论 。 同 时 参照 习题 7.21 中 的 Gilbert Pk, CBE EG ATT REI 

没有 告诉 我 们 如 何 构造 它们 。) 

9.34 {和 参照 定理 9.10) 设 P. 表示 有 限 域 GF(q") 上 所 有 次 数 生 7 的 多 项 式 集合 ,而 (ao， aat, 
aE GF) E n> r 个 趟 同 元 素 构 成 的 序列 。 对 任意 Cx OP. ACC, Cn 
CE GF( g)" 的 每 个 分 量 定义 为 C= f(a,). 证 朋 ; 由 P, 经 过 上 述 运 算得 到 的 天 量 
集合 ,是 RF。 上 的 一 个 线性 码 ,该 码 的 码 长 为 n , 维 数 为 r+ 1, 最 小 距离 为 n - ro 

9.35 本 题 的 假设 条 件 与 上 一 题 相 同 。 对 任意 fe P, ,重新 定义 相应 的 蕊 为 : 

C = (Cs, Ch, Cr EGR 


其 中 C = fla), Ci =afla;). HERA LIRA A BES E 6F(g")} 上 的 一 个 
线性 码 AGRA 2n SERA r+1 ,并且 在 每 个 非 0 bs rh, MEO GE n — r XÍ 
不 同 的 (CC )。 
9.36 4P: GF lg") > GF(4q)" BTM CFB GF( 4)" 的 一 一 线性 胰 射 。 考 虑 二 
题 (9.35) 中 定义 的 GF (gq") 上 的 码 , 并 将 它 变 成 GFtg) 上 的 一 个 码 , 方 法 是 将 每 个 码 字 
CAAP C), PECL), @CC,_1),90C_.)). IER EFAA GFC) ERRER, 
码 长 为 2mn , 维 数 为 m(r +1). FFALTERE ME OS FB n TREC) PC OVP, 
至 少 有 中- 了 个 是 互 不 相同 的 。 
本题 看 起 来 似乎 并 不 合适 放 在 这 里 ,但 实际 上 并 非 如 此 -说 1 x. EN VE 
M 个 不 辐 的 矢量 构成 的 集合 。 令 w = w,(x,) OR x, 的 汉 明 重量 。 并 令 p= (wui t+ + 
wy Jin, HERH: 


9.3 


-j 


log M = nH2{p) 
其 中 H, cea eae. ER: A X, A X. EARE, EA 
假设 为 任意 x 的 值 。 并 令 p ERM PRE PAB, EE AERA AR E Er i K EA, Pç 
验证 下 面 一 系列 等 式 和 不 等 式 ， 


log M = H(X) = HUD= DY H(p) = nH(p) ] 
j=l fal 


_ h] 

ant 
Ra 
ae 
ae 
er 
at 





LZ ee ee ee eer i — "amd. re eee re ws a —_ ”=m-- 一 - 一 一 =-- 一 


er ae me he ee ee e r pes a he a r ur 
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(FESE FA James Massey| 38] 得 出 .) 

9.38 现在 考虑 习题 0.35 Pre Y BJ ie q = 2,n = 2” (as... z. . FE GF(2") 中 元 
素 的 任意 排列 。 定 义 r/2" = o, 证 明 该 码 具 有 下 列 性 质 : 
(i) 码 长 = m2"*! 
(iD 编码 速率 = T | p+ 5 

2 D 3” 

(ii)cm > (1 -pH |> + 0) 
这 类 码 就 是 前 文 提 到 过 的 Justesen 码 。[ 提 示 :为 证 明 (iii) ,需要 用 到 习题 9.37 的 结论 。j 


9.39 最 后 , 试 证 明 对 任意 0< R< ft GF(2) 上 都 存在 一 个 无 限 长 的 Justesen 码 序列 ,它们 的 
但 长 n ER k Sv MBS d 满足 : 
lim ni = oo 
iy u/s = 
lim sup di/ n, > Hy'(1/2)- (1 — 2) 
gë = 0.110 028(1 — 2R} 


9.40 说 明 在 定理 9.11 的 证 明 中 定义 的 d, 是 一 种 真实 的 度量 。( 参 照 习题 7.4。 ) 
9.41 对 例 9.9 中 的 {7,3}) 权 ,寻找 一 个 矢量 yE10,1, * | ,使 mind, 尽 可 能 大 。 
9.42 对 于 个 给 定 的 d 值 ,满足 eo + 2e,cd—-1 MAFABRUM (ey, e ) 共 有 多 少 对 ? 
9.43 iZ m Ala WHER, m+n 是 偶数 , 试 证 明 : 


a-n 

[参见 式 (9.84) 前 的 说 明 。 | 

9.44 考虑 例 7.3 中 的 {7,4) 汉 明 袜 。 流 码 的 最 小 上 距离 de = 3, 因 此 根据 定理 9.11, 在 eo + 2e, <2 
的 情况 下 , 它 能 够 剑 正 所 有 e, 个 删除 和 e 个 错误 。 基 于 这 种 思想 ,对 (a), (b), Ce) H 
码 字 (如 果 可 能 ) 进 行 详 码 ， 
(a) [11100 * 0] 
(bÐ [O >= 11101] 
(e) [Ol = 10 * 1] 
(d) 随机 选取 一 个 长 度 为 了 且 仅 含 -- 个 删除 的 矢量 及 ,运用 定理 9.11 证 明 中 介绍 的 

MMD 译 码 算法 对 其 译 码 , 则 它 被 惟一 译 出 的 概率 有 老大 ? 

9.45 在 RS 码 的 纠正 错误 及 删除 译 码 中 , 设 o,(%) 是 错误 位 置 多 项 式 , w(x) 是 错误 及 删除 求 
值 多 项 式 [ 参 见 式 (9.77) 及 式 (9.81)j]。 试 证 明 gcd(a,,w) = 1. 

9.46 研究 在 下 列 情况 下 ,RS 译 码 器 译 码 失败 的 概率 。 
(a) & 个 删除 和 1 A FBTR 0 
(b) & r- 1 PHBA 1 PBR. 
(e) RE r+1 个 删除 ASHER. 

9.47 考虑 CF(16) 上 的 (15,7)RS 码 (其 本 原 元 满足 a =a +1) WP ARETE: 








"a - 
H ` - J z 
rr seven 
a 
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` ait. al a? a’ at a°] 


9.48 考虑 个 生成 多 项 式 为 g(x)=x + x` q x` + X'+ X + x+ V BJ9015.5)BCH P BRC 9.1). 
运用 9.7 AR AEDT FARE RK EEIT, 
R—[|1I 1*000*0001+101] 


R = {a} lea al? sŠ z Q 


(a) 利用 时 域 完 成 法 ， 
(h) 利用 频 域 完成 法 : 

9.49 堵 虑 一 个 也 ,= 芝 的 (n ,1 线性 码 。 如 果 没 有 错误 发 生 ,定理 9.11 Ri f 1215 pE zH IE 
任何 不 多 于 了 - 1 个 删除 的 图 案 。 通 过 说 明 至 少 存在 一 种 售 d WREE 6641 
码 纠 正 , 米 说 明 此 结 沦 不 能 进 .- 步 打开 了 了 : 

9.50 在 8.4 节 申 ,我 们 讨论 了 能 够 纠正 单个 窒 发 错误 的 码 。 看 起 来 这 类 码 应 该 更 适 于 纠正 单 
个 帘 发 删除 如 。 通 过 本 题 的 练习 ,会 进一步 印 评 这 个 观点 。 

(a) 设 C 是 一 个 (ny 机 线性 码 , 它 能 够 纠正 任意 长 度 不 超过 b 的 突 发 剧 际 串 , 试 让 明 
n- kab (REH 8.10 的 推论 Reiger Fo) 

(b) 试 证 明和 任何 (nm ,好 循环 码 部 能 纠正 长 度 不 超过 n- k TERR ARS. 

(e) 考虑 例 8.2 中 的 (7,3) 循 环 码 , 纠 正 下 列 码 字 中 长 度 为 4 B522 ABR (102 > > =O), 
(x x * *]01),( z 101 * x). 

9.51 "4. Sh PENS AS AMIR T AS PE D P AY A #h dE % lal š 8 H] BJ Jr A BE 92 211 iF. i e 
WEE, EIEEE AE. MO KB ES SR PE pi JSE] B K SA, 
然后 利用 一 致 校 验 年 阵 求 解 这 些 未 知 参 重 . 例如 ,考虑 例 7.3 中 的 二 进 制 (7,4) 洲 明码 ， 
此 码 的 d= 3, 故 由 定理 9.11 可 知 ,在 没有 错误 发 生 的 情况 下 , E RERE MER AEF 
两 个 的 任意 图 案 。 和 如果 接 收 到 的 码 字 为 R= (1*1*101), 我 们 将 其 中 的 上 黄 个 删除 党 措 
AAAI x Ply PEE R= (lxlrl 01) 

(a) ABC AAGE SS a EOC =0, Rh H E 1.4 PB 
验 矩 阵 , 故 利 用 此 性 质 ,可 同时 得 到 3 个 包含 未 知 数 > Bly 的 线性 方程 组 ,求解 此 方 
程 组 ,就 可 以 纠正 删除 。 

(b) 如果 删除 位 是 3 个 而 不 二 两 个 , 则 可 以 利用 同样 的 方法 将 这 些 删除 用 3 个 林 放 数 置 
换 . 从 而 得 到 3 个 方程 。 解 这 3 个 方程 求 出 未 知 数 , 便 可 以 纠正 了 个 删除 、 然而 定 
理 9.11 仅仅 保证 了 该 码 能 够 纠正 两 个 删除 。 请 癌 局 题 出 在 号 里 ”? 

9.52 在 本 题 中 ,我 们 将 考虑 用 一 种 替代 方法 来 纠正 删除 和 错误 , 它 包 含 了 “猜测 AB at 
法 。 

(a) 首先 假设 只 考虑 二 进 制 码 ,也 就 是 说 ,定理 9.11 hÉ) FRE CFO). WIS C 的 最 小 
距离 为 了 ,接收 到 的 码 字 因 受 噪声 干扰 而 包含 eo 个 删除 和 e, 个 错误 ,满足 e + 
2e 并 dd -1。 假设 将 所 有 腊 除 位 置换 成 0, 然后 对 其 进行 泽 公 ,采用 的 是 至 多 能 够 纠 
正 (d -2 个 错误 的 单 纠 错 译 码 算 法 。 如 果 译 码 成 功 , 我 们 停止 。 否则 ,将 继续 紧 
试 , 这 次 旦 假设 所 有 删除 位 均 为 1。 试 说 明 采 用 这 样 的 方式 , 即 先 猜测 所 有 删除 位 均 
为 0,. 再 猜测 所 有 删除 位 均 为 上 ,总 可 以 成 巧 地 纽 正 错误 和 删除 。 

(b) 通过 对 二 进 制 (7,3) 循 环 码 的 接收 码 字 fl x *0*01] 进 行 译 码 , 来 验证 (a) 中 提出 的 
译 码 方法 。( 参 照例 9.9。) 


| eb 5z Dow cam 





O 


9.5 


9.54 


9.55 


9.5 


O) 


J] 


9.5 


9.58 


9.59 
9.60 
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(e) 这 种 "猜测 "法 对 莫 二 进 制 域 也 回 样 有 效 吗 ”特别 地 ,为 使 此 方法 在 三 进 制 域 GF) 
上 同样 有 效 ,你 该 如 何 对 它 进行 调整 人 
JE Jo o 中 提 到 的 生成 多 项 式 为 gfx) sat tat + 六 +1 的 二 进 制 (7,3) 循 环 码 , 它 的 
dow, = 4, AX He BH o 10 可 知 , 它 能 够 纠正 所 有 删除 不 多 于 3 个 的 图 案 ( 如 果 不 需 要 同时 
纠正 错误 )， 同 时 , 它 也 能 纠正 其 些 { 介 不 是 全 部 ) 售 4 个 删除 的 图 案 . 木 题 中 , 试 研究 在 
全 部 包 念 4 个 删除 的 可 能 网 案 中 ,有 哪些 是 可 以 被 纠正 的 ?特别 要 找 出 有 多 人 少 个 售 4 个 
删除 的 图 案 能 够 被 到 正 
本 题 特 讨论 在 CF) 上 随机 选取 的 矢量 被 一 个 RS 码 译 码 器 成 功 译 码 的 概 府 。 
(a) 推导 下 面 公式 , 它 表 示 的 是 以 Gg) Ein, b BABAR O, A t AFRA 
eB ARAN AP ERT G6F{g)" 空间 中 所 占 的 比例 。 
q* ol XG — VY 
— a 
(b) 对 于 一 个 固定 的 上 值 , 当 9 名 时 ,考虑 一 个 随机 选取 的 长 度 为 9 - 1 的 矢量 ,利用 
(a) 中 的 公式 计算 它 与 Cig) LIBRA g- 1.24 0 TRA RS PR MOSH 
TREE RS SAF ARERR., (PEEB BU TU S r= 21.) 
it CFE ATEC, k AS, ARH g(x), 校 验 多 项 式 为 h(x)， 
(a) 证 明 如 果 01) 关 0, 则 每 个 码 字 的 重量 都 为 偶数 ， 
(b) 如果 0x) 不 存在 一 对 根 (8, 0, LE 6,8, 1, UC 的 每 个 码 字 的 重量 都 可 以 被 4 
整除 。[ 担 示 : 这 是 引 理 5 结论 的 一 -个 推广 .] 
在 本 章 中 ,我 们 证 明了 (23.12)Golay BW RAD PRA di 之 7。 试 说 明 , 实 际 上 该 码 的 
最 小 距离 & ， = 7 了 、 可 以 用 以 下 两 种 方法 推导 出 此 结论 ， 
(a) 通过 分 析 其 生成 多 项 式 eC x). 
(b) 遂 过 证 明 什 总 二 进 制 (23,12) 线 性 码 都 满足 d u, 去 7- 
试 说 朋 不 存在 了， =5 的 二 进 制 (90,78) 线 性 全 ,也 就 是 说 ,不 存在 码 长 为 90 的 纠正 两 个 


错误 的 完备 码 , 尽 管 1+ | ，j [2 -PRY HER: S r 表示 对 应 于 1 比特 错误 且 重 


> 

量 为 奇数 的 伴随 式 数 日 (伴随 式 含有 12 比特 )。 证 明 对 应 于 2 比特 错误 且 重 量 为 育 数 的 

伴随 式 的 数 日 为 (90-7) ,然后 设法 确定 r 但 ,] 

考虑 看 9.8 节 中 定义 的 二 进 制 (23,12)Golay 码 , 结 合 其 伴随 式 查 表 诺 码 方法 , 它 能 鲍 纠 

正 所 有 重量 近 3 的 错误 图 案 。 

(a) 如 果 错 误 图 案 的 重量 为 4, 详细 描述 译 码 器 的 处 理 过 程 . 

(b) 如 时 错误 图 案 的 重 其 为 5, 译 码 器 又 是 怎样 处 理 ? 

(e) DEP (a) (b Meee. WF 421523 范围 内 的 每 个 整数 1 ,讨论 如 果 错 误 图 案 的 
Te FCA (O pen ERE Gd] ch po 

证 明定 理 9.14. 

本 题 将 讨论 在 f24,12) 扩 展 Golay 码 中 ,重量 为 8 的 码 字 的 数 日 : 

(a) 分 草 用 两 种 方式 证 明 ,重量 为 8 的 码 字 的 数目 不 为 0:(]1) 通 过 分 析 忆 来 的 423，12) 
Colay 码 的 生成 多 项 式 g(x);(2) 证 明 任 意 二 进 制 (24,12) 线 性 码 都 满足 gm 到 8。 


z be! ' 
i tebe nd tide § 
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(b) 给 定 ”该 码 恰 好 含有 759 个 重量 为 8 的 码 字 , 试 证 明 ,对 于 10,1,…,23| 中 任意 五 个 
JURA Bit, ist ,恰好 存在 1 个 重量 为 8 的 码 字 ,在 这 5 个 对 应 位 置 上 的 
TAR Abe l 
9.61 本 题 将 研究 (24,12) 扩 展 Colay MRE A. [Ea ROD) RATE i 4 8 HH T 
正 重 量 不 大 于 3 的 所 有 错误 图 案 -j 
(a) 试 证 明 该 码 能 够 检测 出 所 有 重量 为 4 的 错误 图 案 。 
(h) 设 该 码 的 重量 分 布 多 项 式 为 ; 


1 + 759xŠ 4 2576a!? + 780x!* + x” 


Me 在 范围 4<。 志 24 内 的 每 个 取 值 ,计算 该 码 能 够 检测 出 的 重量 为 6 的 错误 图 案 
的 数目 。 
(e) 现 假设 该 详 码 器 仪 被 用 来 纠正 重量 不 大 于 2 的 错误 图 案 ,重复 (bj) 中 所 问 。 
(d) 现 假设 该 详 码 器 仪 被 用 来 纠正 重量 不 大 于 1 的 错误 图 案 ,重复 (b) 中 所 国 。 
(e) BU ,假设 该 诺 码 器 工作 于 单 检 错 横 式 , 即 如 果 伴 随 式 为 0, 就 判定 接收 到 的 个 字 正 
确 ,否则 ,就 判定 出 错 。 重 复 (h) 中 所 问 。 
9.62 存 本 题 中 ,我 们 只 考虑 (23,12) 和 (24,12)Golay ISH Set Hi - 
(a) 没 计 一 个 {23,12)GColay 0589849 AF ERIS SF - 
(b) 覆 改 你 在 (Ca) 中 的 设计 ,或 者 另 想 他 法 ,设计 一 个 (24,12) 扩 展 Golay BB EJ Fe BS Ak - 
9.63 试 讨论 {24,12}Golay 码 的 伴随 式 查 表 译 码 器 的 大 小 和 复 荣 度 。 


#E2J EN 9.64 至 习题 9.67 中 ,将 研究 一 进 制 Colay 码 的 性 质 。 注 意 到 在 失 量 空间 6F (3 ) 
中 ,一 个 半径 为 2 的 汉 明 球体 包含 了 : 


1+2( 1 | +4( 1 — 243 = 35 

个 所 量 、 这 就 说 明 可 以 用 729 = 3° 424223 2 BOTA BRI GORA. — ati Golay t5 
做 到 了 这 一 点 。 它 是 CF(3) 上 的 一 个 (11,6) 线 性 码 , 当 以 其 码 字 为 球 心 时 ,就 完成 了 如 上 所 述 
的 “填充 "。 该 码 的 定义 如 下 :因为 六 -1=11'22, 故 GF(3' RE — T 11 阶 本 原单 位 根 , 我 们 把 
它 记 做 p. 在 GF(3) 上 ,将 x" -1 进行 因 式 分 解 得 到 x -1=(x- l)e(x)g(x), Hels) = 
ext att! y(xz)=x'- 422-2-1, 可 以 假 没 B 是 g(x) 的 一 个 零点 ,这 样 ,三 
进 制 (11,6)Golay 码 就 可 以 定义 为 生成 多 项 式 是 g(x%) 的 循环 码 。 为 证 明 围绕 其 729 “SRY 
半径 为 2 的 球体 是 不 相交 的 ,必须 先 证 明 各 码 字 之 间 的 景 小 汉 明 距离 > 5, BD PE 155 SF Pi 
重量 都 5， 下 而 的 习题 包含 了 此 结论 的 一 种 证 朋 "”。 


9.64 试 证 明 三 进 制 Coa 码 的 最 小 重 芋 4。( 提 示 : 利 用 定理 9.3,BCH 论证 。) 

9.65 证 明 如 果 C. + C, +: + Cy =0,; 则 码 字 C= (Co Ci,…, Cw) 的 汉 明 重量 能 够 被 3 整除。 
(提示 :参见 9.8 节 引 理 4.) 

9.66 另 -- 方 面 ,如 果 C. + C + + Co =a 40, RUA, (Cota. Ci ta. Ci + oo EAE 
的 一 个 码 字 ,并 且 其 汉 明 重量 同样 能 被 3 整除。 

9.67 利用 前 而 的 结果 ,证明 该 码 不 存在 重量 为 4,7 或 10 的 码 字 。 [提示 :如 果 码 字 重 量 为 4， 
通过 适当 的 标量 乘法 ,其 非 如 分量 可 以 转换 为 (1,1,1,1) 或 (1.1,1, - Do] 


ee ee a oe 
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本 节 采 用 的 方法 主要 来 源 于 Berlekamp[ 14] 的 第 四 部 分 。 

这 种 现在 一 般 称 为 BCH F BJ RB Ti Ez H E 1959 年 被 法 国 数学 家 OA. Hocquenghem 发 
现 。1960 F, R. C. Bose 和 D.K. Ray-Chaudhuri 也 独立 发 现 了 此 人 三 。 但 是 ,由 于 
Hocquenghem 的 上 作 在 当时 并 未 能 引起 注意 ,因此 这 种 新 码 暂 时 被 命名 为 Bose- 
Chandhuri 码 ( 而 不 是 Bose-Ray-Chaudhuri 码 )。 后 来 人 们 认识 到 实际 上 Hocquenghem 
LL 26 F Bose 和 Ray-Chaudhun 发 现 了 此 码 , 便 将 其 改名 为 Bose-Hocquenghem- 
Chaudhuri 码 ,简称 BCH 码 ， 记 住 这 三 位 科学 家 只 是 发 现 了 这 种 查 (而 不 是 译 码 算 
法 ) 是 很 重要 的 。 有 关 译 码 算法 的 发 展 历史 ,请 参见 354 ~ 355 页 。 

如 果 下 的 特征 是 有 限 值 ,我 们 假定 它 不 能 整除 n- 

SJ EME OSM REA - w。 在 这 种 规定 下 ,时 使 a,b 中 的 一 个 是 0 多 项 
式 , 一 些 基 本 的 公式 ,例如 degf ab) = deg( a) + deg( B), deg( a + b)= max(deg(a), 
deg( 7) 仍然 成 立 。 

uk WRU J.B. Shearer. 

在 大 部 分 (但 不 是 全 部 } 应 用 中 ,下 域 是 指 GF QQ") (me 1). 但 是 由 于 这 个 定理 对 任 
{ol SR ARI HJ MAERT R: BBR CRY), A Ek H ZM oF 增加 淋 必 要 
的 限制 : 

当然 ,除非 C 的 兵 些 删除 位 确实 就 是 0, 在 这 种 情况 下 C A 怪 ' 的 不 同位 数 将 少 于 
ey te; Po 

Hn SB AS aa — AP ESE, ,很 难得 出 这 些 因 式 。 我 们 建议 有 兴趣 的 读者 参考 Berleka- 
mpl 14] 的 第 6 章 ， 

参见 习题 7.170). 








Galay ff) R 4} Te F K (2526 A: Mac Williams 和 Sloane! 19] ,第 20 BF): 
Golay( 23,12) Golayi24,12) Golay( 1) ,6) 

io A i A, i A, 
0 1 a 4 0 ! 
7 253 8 759 5 132 
8 506 12 2576 6 132 
II 1288 16 759 8 330 
12 ) 288 34 ] Ü [10 
IS 505 1! 24 
16 253 
23 l 
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10.1 引言 


在 本 章 中 将 研究 卷 积 汪 码 。 为 方便 起 见 ， 假 设 研究 的 码 用 于 二 进 制 输 和 信道 ， 即 信道 
的 输入 符号 集 等 同 于 有 限 域 p, 。( 但 是 很 容易 推广 到 A= F. 的 情况 ， 其 中 ç 是 素数 的 
Fa) 

卷 积 码 可 以 用 多 种 不 同 的 方法 来 摘 述 。 在 引言 这 一 节 中 ,将 介绍 二 种 方法 ,分 别称 之 为 多 
项 式 趣 阵 表 示 法 .标量 短 阵 表示 法 . 移 位 寄存 器 表示 法 。( 其 他 二 种 描述 方法 :状态 图 表示 法 、 
网 格 图 表示 法 、 树 图 表示 法 将 在 本 章 的 后 续 各 节 中 “介绍 ,) 

se 多 项 式 算 阵 表示 法 。 思 顾 第 7 章 中 ,一 个 二 进 制 (n,) 线 性 分 组 码 可 以 用 F, 上 的 一 
T kx n GE Re 6 = tg) 描述 一 个 (n, 雄 ) 着 积 码 (CO) 也 可 以 用 一 个 六 x n MERE 
G 描述 ;区 别 呈 在 于 卷 积 码 生 成 年 阵 的 元 素 gy 是 上 的 多 项 式 。 例如 ,矩阵 


G = [x 二 1,x + x+] 
基 一 个 (2,1) 着 积 碍 的 生成 矩阵 ,我 们 将 它 记 做 着 积 介 -1 以 第 下 多 玉 用 。 同 样 ， 


l Ü x41 
Ü |] x 


是 -- 个 (3,2) 卷 积 码 的 生成 韦 阵 ,我 们 称 之 为 着 积 码 - 2。 
现在 定义 与 着 积 码 相关 的 二 个 重要 和 参数: 


=| 


记忆 长 度 : 
M = max |deg(g;)] (10.1) 
约束 长 度 *. 
K=M+t (10.2) 
速率 ; 
R = k/n (10.3) 


议 样 , 卷 祖 码 - | 的 参数 为 M< 2,K=3,R =12, BA -2HBRH M a1, K =2,R = 2/3, 
这 些 参 数 的 物理 意义 将 随 着 研究 的 深入 而 逐步 体现 出 来 。 现 在 通过 简单 的 观察 可 以 了 解 到 ， 
由于 分 组 码 生 成 优 阵 的 元 素 是 0 次 多 项 式 (有 即 元 束 是 标量 ), 因 此 (nn, 分 组 码 可 以 被 看 居 估 
By M=0,K=1, R= kin WSR. 

为 了 利用 多 项 式 矩 跨 G IRRIA BEITA, OAS RR — T k ERMA 


上 


Foam F ere a 


ne Drai tt tt oe pe a a, SD an, PE r a Rc a a ta 
H 
ie 
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I= xr 的 系数 。 则 * 码 字 "C= (Clr), G Ce) SET n ESME, E 
hE MOA: 
C=1-G (10.4) 
其 中 小 圆 点 代表 舌 量 -证 阵 磁 法 。 因 此 在 多 项 式 矩 阵 表 示 法 中 ,生成 算 阵 为 G HERE G 
的 行 室 间 。 
例 10.1 对 于 卷 积 码 一 1, 可 以 利用 式 (10.4), 对 多 项 式 信息 I= (x +%x+1) 进 行 编码 ,得 到 多 
MALF C= (x x + x+], txt +1), 
例 10.2 对 于 卷 积 砚 -2 可 以 利用 起 110.4) ,对 多 项 式 信 息 I= (x` + x,x T RTA, jS 
H SHA AS CH (xr +x,xw tix + x`), 


SFU E N IF RIERA AE k BAI n 重 多 项 式 以 及 比特 图 案 之 间 的 对 应 关系 。 A 
找 出 这 种 对 应 关系 ,需要 引 人 卷 积 码 的 标量 盾 阵 表示 法 。 

e 标量 和 矩阵 形 示 法 。 一 个 码 字 多项式 C= (C(x),…，C,.1t%)) 最 目 然 的 比特 (标量 ) 表 示 形 
式 , 可 以 通过 交织 排列 各 多 项 式 的 系数 得 到 。 过 此 如 果 第 个 多 项 式 为 C(x)= Cot Cat, 
则 C 的 标量 形式 可 以 表示 为 : 

C = (Coo, Cras ++. Crono, Cor 7+. Caide) (10.4) 
前 面 提 到 过 ,生成 矩阵 为 G HBR G 的 行 空间 。 PUEBLA TA BREE Sa ee G 的 标 
景 形式 , 邯 通 过 式 (10.5) 定 义 的 标量 码 字 枸 成 标量 G 的 行 空间 。 令 
G = D Gyx” (10.6) 
yo{ 
表示 MU BUG 所 的 展开 式 [参照 式 (10.1)] ,系数 G 是 一 个 上 xm Be. PS 10.1 i 
述 了 G 的 标量 形式 。 


Cray | i Cray 
-— 1 -~ 





图 10.1 根据 式 (10.6), 由 包 项 式 生成 矩阵 得 到 的 标量 生成 丁 阵 {阴影 区 域 = 全 要) 


注意 标量 生成 矩阵 的 行 数 和 列 数 都 是 无 限 的 。 与 此 相对 应 的 是 ,信息 多 项 式 和 码 子 多 项 
式 的 次 数 部 可 以 是 尾 意 大 的 ， 


例 10.3 根据 式 (10.6) FRR — ] 65 SRAM, AR: 
G =[1, 1]+[6, 1]x + [1, Hz 
doth AQ 10.1 #2) 38. 483 1 REA EH: 


' F zy a ' - r. o= ' 
È or >. 
~ í Ë; He oy i fee i 
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1 10 1 1 | E 
| | 1 0 1 1 1 
| 0 1 1 1 
G= I| l 0 1 1 1 
110 1 1 Í 


SHAM 8, I= (x`+ x+ 1)*ÓE S ee 8.3 (1101)[ MAACO), RABE C = 
(` +X txt lax + x' + 1) 38 52 05 EAS A (111010000111)( *T LB) 10.1). 
B| 10.4 根据 式 (10.6), 展 开卷 积 码 -2 的 多 项 式 生 成 矩阵 ,得 到 ; 


1 0 1] [001 
G= |, l+ lo 0 a 


4H 10.1 得到 卷 积 码 - 2 HAE ERAS: 





多 项 式 信 息 I=(x 42,0 +1) eH ES ER A (01101001), 多项式 码 字 C= (x° + x, 

x +] ,x +X ) 对 应 的 标量 码 宇 为 (010100100011001)( 对 比例 10.2), 

我 们 在 前 交 中 提 到 ,信息 多 项 式 的 次 数 原则 上 可 以 任意 大 ( 码 字 多 项 式 也 如 此 )。 但 是 在 
任何 实际 应 用 中 ,显然 存在 一 个 允许 的 最 高 次 数 。 因 此 我 们 需要 定 头 着 积 码 的 LRR. 

首先 ,要 求 deg[ x)] 志 工 -1, 其 中 =0,1,…, 玉 -1。 由 式 (10.1) 和 式 (10.4) 可 知 ,在 相 
应 的 多 项 式 码 字 C=(C(x),…，C,_1(x)) 中 ,每 个 分 量 的 次 数 均 < 上 + 上 -1。 因 此 ,信息 
E= (dyads, 3 Ce) AD PARI kL 个 比特 表示 mir CORT n( M+ LT IAS OK R. MI 
到 C 的 编码 上 映射 可 以 用 标量 运算 C = L: G, KH, APE G, 是 图 10.1 ae G 的 
一 个 截断 ,图 10.2 对 它 进行 了 描述 。( 图 中 阴影 区 域 代表 全 909 区域 ,) 





—— Af+L blocks otn 


~~ G, E 
EZ 


多 


图 10.2 和 矩阵 G 





—— f blocks of £ —— 


' ig nm》 E ` x É r 
] piee pow carat #10 ig 
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AE, AT RRP On, A) ERBA L Sk WH, BE — (n (M + L), ALPE M 
iP OY RGR ARBE- PRS, Se Se h F he 

kL 
~ WM + L) 


M 
Nl KÍ! M+ z) 
HN, R= kin 是 未 截断 卷 积 码 的 编码 速率 ! 见 式 (10.3)]。 在 人 人 多数 实 际 应 用 中 ,的 取 值 远 
大 于 前 ,这 样 速率 R, 就 非常 接近 于 尺 。 这 是 将 吕 称 为 该 枉 速 率 的 一 个 原因 (另外 一 个 原因 
DL F TAL a ) 
例 10.5 如 果 对 卷 积 码 -1 取 工 =6, 将 得 到 一 个 (16,6) 线 性 分 组 码 , 其 生成 给 阵 为 : 


R; 





l |! 
1 Ò 1 1 J 
ll 10 1 1 1 
例 10.6 ”如果 对 卷 积 码 -2 取 工 =2, 将 得 到 一 个 (9,4]) 线 性 分 组 码 , 其 生成 给 阵 为 : 
1 0 10 0 ] 
0 1 0 0 0 |l 
1 0 1 0 I 
0 0 0 1 
e 移 位 寄存 器 表示 法 。 假 设 现在 要 为 卷 积 码 - 1 设计 一 个 编码 器 ,此 编码 器 的 输入 信息 
比特 流 为 1= (iy. i.) EA C= (Ce, Cor Cos cn) 其 中 I 和 人 之 间 的 关系 
如 下 ; 
Cof = Coo + Cmt -> 
= (x? + (e + Aixt >) 
= (x° + 1)/(x) 


Cie) = Ca t Cox + o: 
=( +x + XD + x+ >) 
= (x + x + I) 
因此 编码 器 必须 完成 将 输 人 信息 流 乘 以 两 个 多 项 式 2 + 1 和 x? + x + 的 运算 。 幸 运 的 是 ,我 
(HAs 8 章 中 (参见 图 8.1) 看 到 了 如 何 完 成 这 种 运算 - 电路 


输入 
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EERE x` + 1 运算 ,而 电路 
Ph inti 


HERR 2 + x+1 运算. 这样 ,图 10.3 所 示 的 电路 就 可 以 看 成 是 卷 积 码 - | 的 编码 器 ”从 
图 10.3 中 可 以 看 出 ,输入 和 输出 流 之 间 县 有 下 述 关 系 : 
Cu, = £, +I,.2 | 
Gr er | 
可 见 输出 流 C. 是 输入 流 工 和 相应 的 多 项 式 进行 卷 积 的 结果 “. 
在 图 10.3 中 ,我 们 注意 到 第 个 输出 比特 Cn ALC, 不仅 取决 于 第 7 个 输入 比特 让 ,还 取决 
于 之 前 输入 的 两 个 比特 1 , 利 了 。 编码 器 除了 记录 当前 输入 比特 外 ,还 必须 记录 前 两 个 输 
大 比特 ,这 就 是 定义 该 码 的 编码 记忆 长 度 村 =2 的 原因 。 同 时 ,出 于 每 个 输入 比特 都 对 应 着 两 
个 输出 比特 ,因此 该 码 的 编码 速率 为 1/2。 最 后 ,注意 到 图 10.3 中 编 公 器 包含 3 个 触发 磅 , 因 


此 定义 该 码 的 约束 长 度 是 3、 
A -— EC On J 


JO, lo (10.7) 






-e LH mEn) 


[E] 10.3 FF -1 R z SY r 38 BB 28 
将 图 10.3 中 的 编码 器 推广 到 - SEO n. k AIRRA u OS EE 8 BL BL. Toma k 
个 移 位 寄存 器 ,每 个 寄存 器 对 应 于 天 个 输 大 信息 流 天 : 工 ,…, 世 ,中 的 一 个 。 第 守 个 移 位 寄存 
趴 当成 将 第 i 个 输入 流 依次 与 n 个 多 项 式 gfx),…，g,,_1(*) 中 的 每 个 多 项 式 进行 卷 积 的 运 
算 、 将 每 个 移 位 寡 存 器 的 第 j 个 输出 流 相 加 , 便 可 以 得 到 编码 器 的 第 了 个 输出 流 。 
例 10.7 Bj 10.4 BETERA -2 的 移 位 着 站 编码 器 。 





图 10.4 卷 积 码 - 2 的 移 位 寄存 缩 码 器 


1 t He pz 
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从 移 位 冠 存 的 观点 米 看 , 丛 积 码 怠 是 一 个 特定 编 友 大 的 所 有 可 能 输出 流 的 汇集 。 表面 土 
看 ,这 种 表示 法 并 不 吸引 人 。 但 是 在 下 市 中 将 看 到 ,十 是 移 位 寄存 表示 法 直接 导致 了 状态 图 
表示 法 的 产生 .这 可 能 是 日 前 已 知 的 一 种 最 为 有 将 的 表示 方法 。 


10.2 状态 图 、 网 格 图 及 Viterbi £ #8 


本 节 包 插 两 部 分 内 容 。 齐 第 一 部 分 ,我 们 首先 针对 一 个 特定 的 卷 积 砂 , 即 卷 积 码 - 1, 介绍 
与 它 有 关 的 全 部 概念 。 在 完成 对 卷 积 码 - 1 的 研究 后 ,将 研究 的 结论 推广 到 其 他 着 积 码 。 

我 们 定义 图 10.3 中 编码 器 在 某 个 给 定时 刻 的 状态 ,是 移 位 寄 仓 器 中 最 石 边 两 个 触发 香 的 
存储 内 容 , 即 (7 2) 编 得 器 总 共有 四 种 可 能 的 状态 :00,01,10,11。 在 每 个 时 钟 周期 内 ， 
编码 器 接收 到 一 个 输入 比特 全 ) ,作为 响应 转移 到 下 - -个 状态 (了 -并 产生 两 个 输出 比特 
C, 利 C 参见 式 (10.77]。 因 此 ,图 10.3 中 编码 器 的 工作 过 程 可 以 完全 用 图 10.5 中 的 状态 图 
来 描述 。 E] 10.5 申 的 4 直方 框 代表 编码 器 的 4 种 状态 ; 实 线 支 路 表示 输 人 “0" 时 编码 器 的 状 
态 转移 ,虚线 支 巾 表示 输 和 人 "1" 时 编码 器 的 状态 转移 , 交 路 上 的 标注 代表 编码 器 从 一 个 状态 癌 
另 一 个 状态 转移 时 的 输出 。 例 如 ,考虑 从 状态 (OA d(11) 的 支 路 , 它 代 表 图 10.3 HETA 
THEA RC, Lao ) = 0110) 时 编码 器 的 芽 作 过 程 。 此 支 路 用 虚线 表示 是 因为 /=1。 利 
用 方程 (10.7) ,计算 出 Co = 1,G=0, 因 此 支 路 上 的 标注 为 (10) . 


(00) 


图 10.5 图 10.3 rR eB 


利用 图 10.5 所 示 的 状态 转移 图 ,对 于 任何 给 定 的 输 人 序列 ,将 很 容易 计算 出 图 10.3 所 示 
编码 器 的 输出 。 我 们 只 需 从 状态 a 出 发 , 当 输 大 为 “0" 时 向着 实 线 支 路 走 , 当 输 和 为 "1 时 省 
着 虚线 去 足 走 ,所 经 均 路 上 的 标注 即 为 编码 器 的 输出 。 俩 如 , 当 输 人 入 信 息 流 为 110100 时 ,所 经 
过 的 路 径 为 acdbeba ,输出 序列 为 111010000111。( 注 意 ,这 和 例 10.3 的 输出 序列 计算 缮 条 
相合 .) 

当 我 们 通过 在 状态 图 中 移动 来 仿真 编码 器 的 工作 过 程 时 , 间 一 条 支 路 可 能 会 经 过 许多 次 ; 
这 使 我 们 很 难保 不 和 标记 经 过 的 路 径 , 因 此 非常 希望 能 在 状态 图 中 引 人 时 间 标 记 。 解 决 这 个 
问题 可 能 的 最 佳 途 径 就 是 ,保留 每 一 个 时 钟 周期 的 状态 图 ,并 将 它们 串联 成 一 个 如 图 10.6 的 
网 格 图 .图 中 每 一 列 的 4 个 圆 点 代表 a ,b,c,d 四 种 状态 。 对 于 j=0,1,2,… 的 每 个 值 ,都 有 一 


` ` - 
' 
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列 与 之 对 应 。 标 记 j 称 为 深度 ,每 个 状态 柑 对 应 的 深度 j 将 作为 其 下 标 标 出 。 当 且 仅 当 状 态 
图 上 的 两 个 状态 之 间 有 支 路 相通 时 ,深度 为 了 的 状态 才 与 深度 为 + 1 的 状态 通过 支 路 相连 。 
(惟一 的 例外 发 生 在 从 7Y=0 到 j=1 时 ,因为 在 j=0 时 ,图 10.3 所 示 移 位 害 存 器 的 存 情 内 容 是 
[0,0] ,所 以 它 只 能 在 状态 a = [00|.) 编 码 器 的 输出 可 以 沿 着 网 格 图 上 的 相应 路 径 得 到 。 例 
如 ,对 于 输入 信息 流 110100… ,找到 图 10.6 中 网 格 图 上 相应 的 路 径 ased; b,c, bsa, A LY 
得 名 输出 流 为 {111010000111…)。 





J=0 j=] 2 3 4 5 6 
图 10.6 对 应 于 图 10.5 中 状态 图 的 网 格 图 


在 10.1 节 中 我 们 曾经 提 到 过 ,在 任何 实际 应 用 中 ,需要 利用 的 是 截断 的 卷 积 条 。 一 个 工 
级 的 截断 码 , 对 应 善 一 个 截断 的 网 格 图 , 当 输 入 信息 流 的 长 度 为 大 比特 时 ,此 网 格 图 包 沼 了 编 
码 器 的 所 有 可 能 输出 流 。 图 10.7 面 出 了 上 =6 时 , 卷 积 码 - 1 的 截断 网 格 图 。( 读 者 可 能 会 奇 
尾 ,为 什么 565 个 输 大 比特 五 ,二 ,五 却 对 应 善 网 格 图 上 的 一 条 8 支 路 路 径 。 这 是 因为 该 码 有 
2 CRRA SII. B 10.7 中 一 条 路 经 上 的 8 个 支 路 ,分 别 对 应 着 图 10.3 PH u BF ff ds 
HERRAR EL KOOL A, A 01. [I Ah] [0,7 L 1.[0,0, 了] 时 的 编码 器 输出 。 这 
也 就 解释 了 为 什么 在 图 10.7 中 性 何 路 径 的 最 后 两 个 文 路 都 是 实 线 。) 

现在 来 解释 怎样 利用 网 格 图 对 一 个 卷 积 码 进行 译 码 。 例 如 假设 卷 积 码 - | 的 上 =6 级 截 


断 码 在 一 个 二 进 制 对 称 信道 中 传输 , 该 信道 的 原始 误 码 率 p < 地 ,并 假设 接收 到 R = 


(1011001110111100],, 《在 图 10.7 的 网 格 图 上 方 已 经 标 出 了 此 序列 ,作为 参考 .) 我 们 已 经 注音 
HSH 10,5), 此 码 是 一 个 (16,6) 线 性 分 组 码 ; 最 人 人 似 然 译 码 能 需要 找 出 64 PSE PAR 
的 汉 昌 距离 最 小 的 那个 ( 参 昭 习题 2.13 及 7.3 节 )。 解 总 这 个 问题 的 一 个 比较 笔 拙 的 方法 就 
是 将 这 64 个 码 字 ,一 比特 一 比特 地 与 R 做 比较 。 但是, 如果 考虑 到 这 64 个 码 字 刚好 对 应 于 
图 10.7 网 格 图 中 从 a, 到 a, 的 研 条 路 径 , 并 充分 利用 这 一 点 ,就 会 得 到 -种 相对 而 言 简 单 得 
多 的 方法 。 

我 们 画 出 图 10.7 的 -~ 种 新 形式 :这 次 各 网 格 支 路 上 标注 的 是 原 图 10.7 中 的 标注 与 R 相 
应 位 置 | 两 比特 之 闻 的 汉 明 距离 。 例 如 ,5; 一 cs 支 路 的 标注 为 dy (00,11) = 2 结果 得 到 如 
图 10.8 所 坟 的 网 格 图 。 如 果 将 图 10.8 中 支 路 上 的 标注 看 做 是 一 种 长 度 , 那 么 及 与 一 个 给 定 码 
字 之 间 的 汉 明 距离 ,就 是 网 格 图 上 该 码 字 对 应 路 径 的 总 长 度 。 例 如 , 码 字 c0000110100101011) 对 应 
的 路 径 为 aga ;csbses deb as; 则 它 和 及 之 间 的 汉 明 距离 为 1+42+2+1+1+1+1+2=11。 这 
样 , 导 找 与 了 及 汉 明 距离 最 小 的 码 字 的 问题 ,转化 为 寻找 网 格 图 10.8 中 从 a, 到 a, 的 最 短路 径 
问题 。 现 在 重点 研究 这 个 最 短路 径 的 问题 。 
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R= [e v 00 11 10 E l] 00] 





图 10.8 图 10.7 所 示 网 格 网 的 另 一 神 形式 


假设 从 a, 到 as 的 最 短路 径 疡 经 过 基 个 中 间 节 点 ,如 图 10.8 所 标 。 路 径 P PM as, 到 x 
的 那 部 分 用 P 表示 ,从 x Bla, 那 部 分 用 P, 表示 。 显 然 ,P 是 从 a, 到 x 的 最 短路 径 , 因 为 如 
果 有 另 一 条 路 径 , 比 如 说 是 总 , 比 P. 更 短 , 那 么 路 径 QP, 将 比 P= P P, R PEA as Fl 
o, SCH. UAE Viterbi FER SAR. Viterbi 译 码 算法 的 基本 方法 是 ， 
对 于 每 个 j ,找到 从 a, 到 深度 7 的 每 个 节点 的 最 短路 径 列表 , 则 第 (j + 1) 级 的 最 短路 径 列 表 很 
容易 由 第 /级 列表 得 到 ,因为 奶 果 ao…s5 ,1 是 通 往 5 的 最 短路 径 , 则 ao…s 一 定 蚌 通 往 s 
的 最 短路 径 , 所 以 , 深 嵌 (六 +1) 最 短路 径 只 需要 将 猴 度 了 最 短路 径 往 表 延 伸 一 个 文 路 束 可 以 
RAF 





图 10.9 a, Ma, < [BJ B'JER £ 


现在 可 以 正式 介绍 Viterbi 算 靶 了 ,不 过 在 此 之 前 需要 先 定 义 一 些 符 号 。5 表示 状态 集 
lasd c dio WE 5,1€ 5, #HRERSEAL s 和 :之 间 有 支 路 相连 , 则 定义 B(;,4) 来 表示 此 
时 的 输 大 信息: 如果 从 状态 | 转移 到 状态 上 时 ,编码 器 输 人 信息 为 0, 则 8(s,1) =0, 否 则 ， 
Bls,t) 1。 如果 s 和 + 之 间 没 有 支 路 相通 , B(s ,1) 就 没有 定义 ( 见 图 10.10)。 同 样 ,对 于 € S. 
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定义 pa (o DERRE PER sj.1 利 4 的 支 路 上 的 标注 ， 如 果 不 存在 这 条 支 路 ,定义 
mnnn = + 名 MMi, Ca,ed=liald,b)=1,b,la,c) = + E, 





图 10.10 RI -1 W BCs. DAR 


MAHET Viterhi 算法 。 它 需要 计算 两 个 量 : 测 度 和 幸存 路 径 。 测度 ls), s ES, É 
东 从 ay 到 ç 最 短路 径 的 长 度 ;保留 路 行 Bts) 是 一 个 长 度 为 j 的 二 进 制 字符 串 , 它 记录 了 从 
au 到、 FRR. PIU, B. (b) = 1010 BERR AM ay 到 b, RIRA EE aye, bacadb: 
图 10.11 ËE T Viterbi 算法 的 译 码 过 程 。( 注 意 ,在 第 2 步 中 ,运算 行 * 表示 级 联 ; 例 如 ,110] = 0 = 
11010. ) 读 者 现在 可 以 毫 无 困难 地 验证 (利用 对 ; 的 归纳 法 ) :由 Viterbi 算法 计算 出 的 yo(s) 实 际 
上 就 是 从 a, 到 s 最 短路 征 的 长 度 , 而 B(s) 也 的 确 记录 了 这 条 最 短路 径 。 


1. ce PIS eg Ce OLA sa, A lad + w 同时 , 今 Bia}=W,i= i 
2. AEE s@ S ii PES fH yy +h tt. Rie 


misem- (O+ (O (ts) 
B,(s)— B,_ (t)+B(t,5) 
3. WR j= L+ We BoA L RRA AS Ib MD. ys BU 2 zF. 
图 10.11 Viterbi 译 码 算法 .符号 说 明 :S$ 有 是 状态 集合 ,a 是 全 0 状态 ,tt,s) 是 
PS lb SE | As, 支 路 的 标注 ,BCc.s) =0 表 示 从 状态 ;转移 到 状 
态 ! 时 输入 的 是 0, Bt,sy= 1 表示 从 状态 ; 转移 到 状态 i 时 输入 的 屁 1 


我 们 可 以 用 图 10.12 来 描述 对 图 10.8 中 网 格 图 中 运用 Viterbi 算法 的 过 程 。 其 中 ,测度 
gs) 标 注 首 节点 s 的 上 方 ,保存 路 径 BCs) 则 由 a, 到 s 的 惟一 路 径 表 示 。 例 如 ,pla)=2， 
R.(a)=010). 可 见 从 a, 到 a, 的 最 短路 径 是 aac by ccsbearasi; 它 的 长 度 为 4。 因 此 译 码 
器 输出 为 010010, 这 就 是 与 RRMA BERT = (h:e, 二) 的 最 大 似 然 估计 值 。 


t) 


Hn SS 
`x 











图 10.12 对 图 10.8 所 示 网 格 图 应 用 Viterbi 算法 
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以 上 完成 了 对 特定 码 { 善 积 码 - 1) 在 特定 信道 (二进制 对 称 人 信道) 中 传输 的 讨论 。 现 在 讨 
iH iE. 

首先 , 葵 虑 更 为 … 般 的 卷 积 码 。 我 们 将 注意 力 集 中 在 (na,1) 卷 积 码 圭 ,而 对 大 取 更 大 和 值 情 
泥 的 讨论 留 在 习题 10.5 h. ttn. DEAH, eS eC 10.3) 6 — SEE K = M + 1 的 
移 位 寄存 器 ;编码 器 的 状态 定 艾 为 最 布 迪 M 个 触发 加 的 内 容 所 组 成 的 长 度 为 对 ae. VN 
此 ,编码 器 共有 2" 个 状态 ,在 状态 图 中 的 每 个 状态 ,都 有 了 两 条 支 路 进入 它 , 并 同时 有 两 条 支 路 
次 并 守 。 例 如 ,图 10.131 给 出 了 一 个 (rn,1)M =3 卷 积 码 的 状态 图 。 图 10.13 中 省 略 了 支 路 .上 
的 标注 ,它们 -- 般 是 长 度 为 n 的 二 进 制 矢量, 依赖 于 定义 这 个 码 的 多 项 式 。 随 着 M 值 的 增 大 ， 
状态 图 将 变 得 越 来 越 复 杂 ; 当 M 接 反 于 10 时 ,状态 图 的 结构 会 复杂 得 甚至 连 计 算 机 祁 难 以 
ATH 





图 10.13 M=3(K=4)(n. 1) RBA 


图 10.11 所 示 Viterbi 算法 在 这 种 一 般 条 件 下 仍然 适用 (假设 信道 仍然 为 二 进 制 对 称 信道 ， 
Hop < 十 )。 惟 -的 问题 是 ,该 算法 的 复杂 度 随 M 的 增 大 呈 措 数 级 递增 (虽然 它 只 随 做 线性 
递增 ) ,因此 只 有 在 M 值 相对 较 小 时 ,该 卷 积 码 译 码 算法 二 有 实际 意义 。 事 实 上 ,就 目前 数字 
时 辑 电路 的 发 展现 状 而 言 ,即使 是 = 1 的 卷 积 码 ,通常 M 的 值 也 只 取 到 7 或 8。 

现在 考虑 更 为 一 般 的 信道 ,并 将 注意 力 集中 在 二 进 制 输 入 离散 无 记忆 信道 (DMC) 上 (参见 
习题 10.7)。 回 忆 习 题 2.13, 对 于 一 般 的 DMC, 最 大 似 然 译 码 器 所 选择 的 码 字 C. = Cy, 


Ca) ;必须 能 使 概率 
n—1 
PIRIC} = |] (RICH 
J=} 


最 天 ,其 中 及 = (RR. HERMES p(y1x) 是 信道 转移 概率 。 因 为 对 数 函 数 是 
其 自 变量 的 单调 递增 画 数 ,所 以 最 大 似 然 译 码 器 可 以 等 效 地 寻找 一 个 码 字 C ,使 其 满足 : 
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n—] 


L(C;, R) = Y log p(BR|Cy) (10.8) 


= 
最 大 ， 这 意味 着 只要 我 们 重新 定妆 下 路 标注 过 is, 图 10.11 所 未 的 Viterbi 算法 就 适用 于 任 
和 何 DMC， 为 了 给 册 台 适 的 定义 ,假设 使 用 的 是 了 级 截断 码 , 而 及 =(R，R .…,R ,yi) 是 接收 到 
的 码 宁 , 它 被 分 为 L+ 六 个 n 比特 的 矢量 。 如 呈 状 态 图 中 存在 从 :状态 到 + 状态 的 支 路 , 则 用 
C, ,来 讼 示 相 应 状 态 转 移 时 编码 髓 的 n 比特 输出 ,也 就 是 se 支 路 上 的 标注 ( 风 图 10.5). 定义 : 
fois, = HCs, R, 1) (10.9) 

其 中 工 巾 式 (10.8) 定 头 ” ”如果 +s Me ZARA SEAT Ke x bs, t) = + @. 


10.3 路径 枚 举 多 项 式 和 第 误 概率 的 寞 


RTE 10.2 节 中 看 到 , 卷 积 码 编 码 器 的 可 能 输出 流 与 连接 状态 图 中 全 零 起 始 和 终 正 状态 
的 路 径 之 间 具 有 一 一 对 应 关系 。 本 节 将 利用 组 合 技术 来 列举 所 有 的 这 些 路 径 , 并 利用 其 结果 
得 到 特定 卷 积 码 的 性 能 估计 。 同 往常 一 样 ,首先 针对 卷 积 码 - 1 介绍 相应 的 基本 概念 ,然后 册 
讨论 推广 问题 。 

考虑 图 10.5 所 示 的 状态 图 ,定义 图 中 某 条 路 径 的 ( 汉 明 ) 重 章 为 此 路 径 上 各 支 路 标注 中 
“AeA. (PUA ,路径 acbaacddba 的 重量 为 12.) 对 十 基 个 确定 的 整数 站, 如 果 统 计 从 状态 a 
出 发 再 回 到 状态 a 的 重量 为 ;i 的 路 径 数 是 ,可 能 会 发 现 这 个 数 上 月 或 者 0, 或 是 无 穷 大 ,这 是 到 
为 重量 为 0 的 路 径 在 状态 a 处 形成 了 回路 。 解 决 这 个 问题 的 一 种 方法 是 ,每 条 从 a Bll aa 的 路 
径 ,都 可 以 惟一 地 被 分 解 为 一 系列 从 a 直接 到 a 的 ,中 间 没 有 返回 过 a 的 路 径 -【〈 鲍 如 ,路 径 
acbaneddba 可 被 分 解 为 acbu ,oa 和 acddba,}) 我 们 将 从 a 直接 到 a ,中 间 没 有 返回 过 a 的 路 径 
(除了 平凡 路 径 wa) 称 为 基本 路 径 ,对 于 i 的 每 个 脱 值 ,内 A; 表示 重量 为 ;的 基本 路 径 的 效 日 。 
经 过 反复 试验 ,可 以 发 现 4 = A = 4 = A= A. =0,A, =1, 等 等 。 下 面 将 介绍 一 种 能 够 同时 
计算 所 有 A, EDARI I.o 

为 了 便于 研究 A 10.14 修改 了 状态 图 10.5 的 形式 。 注 意 在 图 10.14 中 ,初始 状态 a 
被 分 解 光 a, Ha, 两 个 状态 ,同时 = 处 的 自 环 被 删 去 。 这 意味 着 厚 来 状态 图 上 的 基本 路 垂 和 
修改 后 的 状态 图 10.14 上 连接 m ,ai 的 所 有 路 径 之 间 ,具有 一 一 对 应 的 关系 。 图 10.5 PA 
路 上 所 标注 的 汉 明 重量 ,在 图 10.14 中 相应 地 变 成 了 未 知 数 x 的 方 午 。 例 如 在 图 10.14 h, x 
路 ob 标注 的 是 x ,因为 图 10.5 中 其 标注 (01) 的 重量 为 1、 这 种 标注 是 一 种 恒 于 我们 按 重 量 列 
举 出 从 a, 和 a, 的 所 有 路 径 的 记录 方式 ,因为 如 果 定 义 路 径 P BJBn7TE E: tz Br 43 > Fñ FENER 
乘积 ,很 显然 路 径 P 的 重量 就 是 其 标注 的 指数 值 。 例 如 ,路 径 P = a, chedba, 的 标注 为 x , 因 
而 路 径 P 的 重量 为 7. 

SYLAR ARENA 4, 的 数值 (4, 的 值 等 于 从 ao 到 a BEH i 的 路 径 数 ) ,定义 着 
积 码 - 1 的 路 径 重 量 枚 举 多 项 式 呈 为 生成 函数 : 

A(x) = Ap + Aix + Ax +: (10.10) 

对 照 图 10.14, 402) BRM a, 到 a, MABE HRA, HARKER A ABA 
方法 ,在 附录 D 中 做 了 介绍 。 将 此 方法 用 于 图 10.14 所 示 的 状态 图 BRE: 
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A(x) = x`/(1 — 2x) 
一 2 十 2x8 十 4r q... + Diy ti dose. 
因此 对 于 ;ez5, 着 积 码 -1 共有 A, =2 CORBA i WEER 【参见 附录 D 中 式 (D.3)。] 


(10.11) 





图 10.14 ERB -1 的 修正 状态 图 


为 了 将 来 的 应 用 ,我 们 需要 一 个 更 精确 的 生成 函数 , 它 不 仅 可 以 依照 重量 ,还 可 以 依照 路 
径 长 度 以 及 该 路 径 所 对 应 输入 序列 中 “1” 的 个 数 来 列举 足 径 。 为 此 逢 要 标注 更 详尽 的 状态 图 ， 
如 图 10.15 所 示 , 图 中 x 的 指数 值 描述 了 相应 支 路 上 编码 器 输出 的 汉 明 重量 ,z 的 指数 值 描述 
了 相应 输入 的 没 明 重量 、y 的 指数 值 恒 定 为 1 ,表示 每 个 支 路 长 度 为 1。 再 次 定义 一 条 路 径 的 
标注 为 它 所 有 支 路 上 标注 的 乘积 。 例 旭 , 路 径 P = ancbedba; MERTEN xyr ,这 意味 着 相应 
编码 器 输出 (110109101011) 的 没 明 重量 为 7, 路 径 长 度 为 6, 而 此 路 径 对 应 的 输 和 人 流 (101100) 的 
汉 明 重量 为 3: 现在 FRE Y XZ. S 38 SAK Alx, y, z) ÆR 10.15 上 从 a, 到 a, 的 所 
H EPNER AAA; 
A(x, y, z) = 2 Aia yiz? (10.12) 
hJ 
其 中 ,4 ,代表 从 mm 到 a, 标注 为 xyz 的 路 径 数 目 。 存 附录 D 中 ,将 看 到 卷 积 码 - 1 的 完全 
REIS PLAS STC URRA: 


xyz 


A(x, y, z) = (10.13) 


— xyz(] + y) 
显然 , 邵 果 令 y=z=1, 式 (10.13) 将 简化 为 式 (10.11)。 


ia On 





10.15 图 10.14 的 更 详尽 标注 版 本 
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PRL ORE r zB OT A FA ee eS ae Th BE AE Bk BE 

St 25 E Bee PS Al oe a RI RAO RRA ROR. (HE hei WE 
AE IL AGE MATL, j H AE EE a BO], Ue Hidnj 3K S THB DS Pt 25 BJ 
界 之 前 , 先 介 绍 一 下 我 们 对 "错误 "的 定 交 。 

假设 在 特定 的 离散 无 记忆 信道 中 采用 特定 的 (2 8) 卷 积 码 { 和 参见 习题 10.14) .并 也 截断 长 
度 工 足够 大 。 同 时 假设 采用 最 大 似 然 译 码 算法 (例如 Vitemi 算法 ) ,而 传输 的 码 字 是 全 0 人 码 ”。 
XERADA APTA AAR ERAR Pa RA ERER. EAIA A i A 
选择 了 哪 条 路 径 , 只 能 根据 接收 到 的 (噪声 ) 样 本 进行 猜测 、 我 们 将 编码 器 实际 选取 的 路 径 称 
为 正确 路 径 ,将 译 码 器 猜测 的 路 径 称 为 译 码 路 径 ( 见 图 10.16). ARPES EELS — T FH 
正确 路 径 分 段 组 成 的 集合 ! 可 能 为 空 集 ) ,它们 被 一 系列 除了 结束 点 在 正确 路 从 上 ,其 余部 分 都 
在 正确 路 径 下 方 的 路 径 分 段 分割 并 来 。 这 部 分 错误 的 路 径 分 自我 们 称 之 为 错 泊 事 件 ( 在 
图 10.16 中 共有 5 个 错误 事件 )。 注 意 每 个 可 能 的 错误 事件 都 对 应 着 编码 器 状态 图 上 的 一 条 基本 
路 径 ， 现 在 所 要 讨论 的 不 同 译 码 器 的 错误 概率 ,就 与 这 些 错误 事件 的 概率 有 关 。 

O a+ ~ m EARE -~ -上 


! # 


P 


EER Pe 
图 0.16 — FE RRR 


首先 要 做 的 是 计算 没有 错误 事件 发 生 的 概率 。 既 然 已 经 假设 工 足 够 大 ,那么 除非 信道 无 
噪声 ,否则 这 个 概率 将 接近 于 0( 见 习题 10.12)。 我 们 更 关心 的 是 估计 起 始点 错误 概率 Prao 
即 在 译 码 深 度 为 0 时 就 发 生 第 一 个 错误 事件 的 概率 ,这 时 译 码 路 径 的 形状 如 图 10.17 Py 
现在 用 0= (0,0,…) 表 示 正 确 (传输 的 ) 路 径 ,xe = (x ,x;,…) 表 示 任 一 由 错误 事件 E 作为 起 
始点 的 路 径 , 而 了 = (yi ,7;,…) 表 示 接 收 到 的 序列 , 它 是 0 的 曲 声 样本 . 令 0 x0 ,7 表示 各 日 
序列 的 前 tn 比特 。 最 大 似 然 译 码 器 将 从 网 格 图 中 选择 一 条 路 径 x, 使 得 P(y1x) 最 大 。 这 意味 
着 除非 PCy, ix) = Pty10 ) ,否则 将 琴 路 径 上 的 错误 事件 E Pa OO, ,将 得 到 比 x 更 好 的 路 
径 。 利 用 与 定理 7.5 证 明 相 同 的 论证 方法 [参照 式 (7.13)] 可 知 ,最 大 似 然 译 码 器 蕴 决 正比 册 
更 优 的 概率 不 大 于 y ,其 中 Y 的 定义 同 式 (7.8) ,而 ey (EE ER. Ae 
错误 慨 率 Pr 1 的 界 , 由 下 面 的 不 等 式 第 出 : 


Pea = 2 (10.14) 


式 (10.14? 的 求 和 范围 包括 所 有 的 错误 事件 至 。 但 居 已 经 注意 到 ,错误 事件 就 是 状态 图 上 的 基 

本 路 径 ; 而 4(Cx)[ 式 (10.10)] 按 照 汉 明 重 量 列 出 了 所 有 这 些 基 本 路 径 。 因 此 式 (10,14) 给 出 的 
十 界 ,也 可 以 表示 为 下 式 ; 

Pr, = Aly) (10.15) 

尽管 我 们 定义 P, ;为 在 深度 为 0 时 译 码 路 径 就 离开 正确 路 径 的 概率 ,但 显然 它 也 是 深度 

为 ) 时 译 码 路 径 离 开 正确 路 径 的 概率 ,这 里 假设 在 深度 为 了 - 1 时 译 码 路 径 还 在 正确 路 从 上 。 
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Washa ao 2) Eli aE X S k FE P, 表示 在 深度 为 了 时 译 码 路 径 离开 正确 
PRISE. ELSA ERIS REA j RAR F y 8 — + S a =R. ERA 
图 10.18)、 情 认同 以 前 讲 过 的 一 样 , 惟 一 的 区 别 是 长 度 为 1 的 错误 事件 五 可 能 发 和 后 在 这 ! 个 
位 置 上 的 任意 AME. phe 10.14), P, AR: 
Pps > length (E). yp"? 

É 

一 Ad 

ped 

其 中 A StS etase SA 9 (10.12) ], SPAR ATE A LGR ACs. y. 
2 AAR at TS TH 


(10.16) 


二 QOA(x, y, z) 
ity 


Pe (10.17) 








fo. 
` ww 
图 10.17 REA ORS CF 


i } J 


op- | 3 one 
. - | 
L er 
图 10.18 -ERREA ; Oe oe SF 
最 后 注意 到 PEM RE ae BU BE m Bd fa RY VR nl 
AE Yb” He p PE SE Ph, 因此 ROR UE RERE P, 比 错 误 事 件 概率 要 小 。 利 
用 推导 式 110.45) 和 式 (10.17) 的 同样 方法 ,得 到 P, 的 界 为 (见习 题 10.13); 


I ƏA(x, y, 2)! 
k ðr | (10.18) 





P = 


1y— Y. 1": z=1 


B| 10.8 已 知 卷 积 码 -1] 的 路 径 核 举 多 项 式 A(x) Fe Ay DLRA (10.11) #A(10.13) |, R 
们 讨论 它 的 上 面 所 介绍 的 三 个 界 ,结果 为 (假设 0<y< 5): 


5 





Pry = — = y + O(y) 
| — 2y 
3y° 一 3y5 5 6 
= = ły + Ü 
3 


P: < Gaya + OY) 


注意 这 道 鲍 题 中 的 一 个 界 主要 由 y 的 高 次 项 RE. SR AC) ACs, y DER 
们 发现 这 是 因为 该 码 基 本 路 径 的 最 小 重量 是 5。 通常 定义 卷 积 码 的 自由 距离 d, 是 其 基本 路 径 
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的 最 小 重量 ， 不 难 验 证 (见习 题 10.15), Ppi = ayy + Oy OEH a 是 一 个 确定 的 常数 。 一 
般 认 为 自由 焉 腐 基 衡量 卷 积 砂 对 抗 噪声 能 力 的 一 个 最 重要 度量 ,因此 如 何 寻 找 具 有 大 自由 中 
离 的 眷 积 碍 成 为 人 们 不 局 努 力 的 一 个 方 癌 ( 见 12.3 节 和 习题 10.16). 


10.4 Egg 


(在 本 节 中 ,我们 将 注意 力 集 中 在 下 = 1 的 卷 积 友 上 ,一 般 情 况 留 到 与 题 10.20 中 考虑 .) 

在 10.2 节 中 我 们 看 到 , 卷 积 码 的 Viterbi 译 码 是 一 种 最 大 似 热 译 码 算法 ,因此 对 于 任意 特 
定 的 卷 积 码 都 不 可 能 进一步 提高 算法 性 能 。 同 时 我 们 看 色 , Viterbi BRAM See Rae ic 
ERE 的 指数 函数 ;遗憾 的 是 , 导 的 值 越 大 , 码 的 性 能 似乎 越 好 。 例 如 考虑 (2,1) 类 着 积 始 。 
我 们 在 10.3 节 厦 到 卷 积 码 的 性 能 可 以 由 它 的 自由 起 离 d 来 衡量 ;一般 来 讲 , d, 越 大 , 码 的 性 
能 越 好 ， 存 习题 10.16 中 进一步 让 明了 一 个 名 ,) 码 的 dp < M[I + oft) ,如 采 假 设 这 个 码 的 日 由 
PS 30. ER M 值 将 会 很 大 ,使 得 Viterbi 译 码 变 得 非常 复杂 。 因 此 我 们 希望 找到 一 种 译 码 算 法 ， 
它 适 用 于 型 取 值 很 大 的 卷 积 码 。 有 一 类 这 样 的 算法 ,我 们 称 之 为 序列 译 码 商 法 。 对 于 某 个 确定 的 
码 而 言 ,序列 译 码 算法 的 性 能 可 能 不 如 最 大 亿 然 泽 码 算法 ,但 是 由 于 它们 适用 于 采 些 好 取 从 很 大 的 
FARBAR TER ARE LIAN TIX THAR. 

sae re SEER HR RAS E -Ain DER Bie 5 y Pet oe 
A— ë SL RRR Pe E RS a SS EE BT 10.3)。 因 此 可 以 将 编码 过 程 形象 地 理 
解 为 在 二 进 制 社 上 的 漫游 ,如 图 10.19 FAA. 

编码 器 从 起 始 节 点 出 发 ,输入 d 个 信息 比特 后 , 它 将 到 达 深 度 为 4 的 某 个 节点 。 如 果 下 
- .个 输入 为 “0”, 它 将 沿 着 上行 支 路 到 达 第 d+ 1 RRE., MEF- CAA LU, CRR T 
行 支 路 到 达 第 d+) 级 深度 。 例 如, 如果 输入 为 0100…, 编 码 能 的 路 径 将 如 图 10.19 Bas, 一 
般 情 况 下 , 当 编码 器 在 树 图 上 课 游 时 , 树 图 工 的 各 个 六 路 都 以 编码 着 的 n 个 输出 比特 标 证 ,里 
PRA 10.19 PIRE ORE. 





| | | | | | 
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图 10.19 一 个 (n，1) 卷 积 码 的 二 进 制 树 
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图 10.19 TA ay oe SA By i BE (SPR RSE ,但 是 对 于 任何 具体 可 实现 的 码 而 言 , 码 树 点 
该 过 有 限 的 。 如 果 码 的 截断 长 度 是 工 , 码 树 将 在 第 + 时 绕 深 度 终 止 ;由 于 编码 能 的 最 后 M 
个 输入 比特 均 为 "0”, 央 此 从 第 天- 上 级 深度 开始 码 树 就 不 再 和 分 文 。 图 10.20 好 出 了 截断 长 
E 上 =3 时 卷 积 码 -1 的 码 树 ,其 中 对 各 个 支 路 做 了 具体 标注 。 
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图 10.20 ”截断 长 度 =3 时 , 卷 积 码 -1 的 二 进 制 码 树 


按照 这 种 新 的 观点 米 看 ,每 个 传输 序列 在 码 树 上 都 对 点 着 从 起 始 节 点 出 发 在 第 二 + MR 
深度 结束 的 -- 条 路 径 。 接 收 序列 是 这 条 路 径 的 噪声 样本 , 译 码 器 的 任务 就 是 找 出 编码 器 实际 
选择 的 路 和 从， 因为 此 有 2 站 条 可 能 的 路 径 , 如 果 工 的 值 很 大 ,一 般 不 可 能 将 接收 信 秋 与 这 些 路 
径 一 条 -- 条 进行 比较 ,， 针 对 这 个 问题 ,序列 译 码 算法 采取 的 措施 是 只 研究 这 些 可 能 路 径 的 一 
个 很 小 子 集 ， 如 果 在 : ae REE Lb , 革 条 被 探 询 的 路 径 有 可 能 中 正确 路 径 , 那 么 就 对 它 做 进一步 
探 询 ;否则 ,就 立即 舍 蔗 并 探 曾 另 一 茶 路 径 ， 

我 们 下 而 将 要 介绍 两 种 最 著名 的 序列 译 码 算 法 ,堆栈 算法 和 Fano Bik. 为 了 描述 这 些 算 
法 ,下面 从 一 个 “精心 构思 的 实验 "开始. 
侠 10.9 假设 利用 图 10.20 所 示 的 码 树 对 卷 积 码 -1 进行 译 码 ,¥ = (yr, yy, yp RK A 

列 . 进一步 慨 设 采用 序列 译 码 算法 (没有 说 明 具 体 算法 ) 探 询 了 四条 路 径 , 它 们 分 别 在 节 

点 省 旦 ,三 万 处 结束 ， 注 意 到 无 论 编码 器 实际 选择 的 是 哪 一 条 路 径 , 它 都 必然 经 过 这 4 

个 节 专 中 的 惟一 一 个 节点 。 译 码 算法 的 下 一 步 , 是 进一步 探 询 这 4 条 路 径 中 了 最 有 可 能 的 

路 径 ”但 是 哪 一 条 路 径 最 有 可 能 呢 ” 为 回答 这 个 问题 , 先 简单 者 虚 一 下 码 字 长 度 各 不 相 

同 的 码 前 译 码 问题 。 

Pix, X X ii 是 一 个 包含 MPR. x, 的 长 度 为 n, FP x, = (x tne 

Xp, ) ,并 设 n= max n,o IRA SD f. DMC hjk 8 Pik A AEE ET x, 的 概率 


Apo SI C p = 1 当 传 给 完 x, Cn AIEE, ARRAN n-m 个 信道 输入 符号 组 


RA MAUL”. 这 些 附加 的 符号 是 从 信道 输 入 符号 集 4， 中 独立 选取 的 ,服从 一 个 确 
定 的 披 率 分 布 p(x)。 因 此 接收 端 符 总 是 接收 到 一 个 码 长 为 n BAF y= (rye 
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v, ) ,尽管 原来 的 码 宁 具有 不 同 的 码 长 。 

在 这 种 假设 下 ,如 果 接 收 到 VY, 译 碍 器 选择 碍 字 x, ,使 得 条 件 概率 Pl 发 送 ,1 接收 到 Yi 最 
大 ,就 会 使 译 码 错误 概率 最 小 ( 参 腿 习题 2.13a)。 但 是 因为 了 是 确定 的 , 且 Plx1y} = 
Pix ,VifPly! ,所 以 这 等 价 于 使 Pix ,yl = Pix Pylx,) RA, Pix, yl THAR F Ñ 
iF B 4% E. 


PU Rix, 接收 y } = p Liro [I pO) (10.19) 
j=l jeatl ` 
Jb p Pi Rig xl,p(ylx)# š 8 65 RBA, MITA SR 4, 的 概率 分 布 pfy) 
oy eA ey Pe RA po AR ARH SAAT BARR A(10. 19) 29 48 
最 大 揭 iiE10 1…… 虹 11， 为 此 可 以 将 式 (110.191 除 以 一 个 正 值 的 常数 ,然后 取 对 数 , 再 
来 最 终 表 达 式 的 最 大 值 , 我 们 称 之 为 测度 


ft, 


| X; l l 
u{X;) = 2, op 2 E log 7 (10.20) 
综 上 所 还 ,如 果 接 收 到 y, 译 码 器 判断 发 送 码 字 的 最 好 方法 是 计算 p(x) EP ¿= O, 
] ,… M --]; 测 度 最 大 的 码 字 就 是 最 有 可 能 被 发 送 的 码 宇 。 

MAGN) 10.9; 我 们 的 问题 是 在 接收 矢量 了 = Cy yee MABEL, AM A.B, C, 
D 中 哪 一 个 节点 是 编码 器 最 有 可 能 经 过 的 。 如 果 编 码 器 经 这 的 是 4, 则 最 开始 传输 的 两 
外 符 避 必然 是 11; 在 “0" 和 "1 "是 等 概 输 入 的 情况 下 ,此 事件 发 生 的 先 验 概率 是 1/2。 同 样 ， 
如 果 编 码 器 经 这 的 是 ,最 开始 传输 的 四 个 符号 是 0011, 1, 3 F REAR E = 1⁄4. 


用 同样 的 方法 计算 得 到 下 家 
PA a+ 概率 
À l1 1⁄2 
B oon 1/4 
000000 1/8 
D 000011 1/8 


此 时 与 导出 式 (10.20) 的 情况 几乎 完全 相同 ;要 根据 接收 到 的 受 噪声 干扰 的 序列 ,在 具有 
不 同 长 度 和 不 同 先 验 传输 概率 的 码 字 中 选择 合适 的 一 个 。 用 于 推导 式 (10.20) 的 模型 和 
现在 情况 的 惟一 区 别 极 仅 在 于 “随机 收 旦 "的 选取 :前 面 我 们 假设 收 旦 符号 站 根据 一 个 确 
定 的 概率 分 布 随机 选取 的 ,但 是 现在 的 妆 尾 蔡 号 是 由 编码 器 经 过 被 狂 测 节点 的 路 径 决 定 
的 、 如 果 不 对 码 树 做 进一步 探测 RARER FRER HAS AMERY, GATE 
SAT HR RECO MERA SRO PR ”的 概率 相等 (见习 题 10.22), 
可 见 控制 * 收 昨 " 符 号 的 概 举 分布 的 最 佳 选择 是 p0) = pC) = 1/2. 

因此 为 了 在 四 条 路 径 ALB CLD 中 做 出 选择 ,需要 利用 式 (10,20) 计 算 四 个 相应 的 测度 
值 ， 在 计算 过 程 中 注意 一 个 很 重要 的 简化 :n.']og p; ABST 1/2。 这 当然 不 证 偶然 
的 :对 于 一 般 的 (n,1) 卷 积 码 而 言 , 码 树 上 深度 为 d< L- 1 的 一 条 路 径 对 应 一 个 长 度 为 





| Hen 5271 9 Y; 
a * ozik ae 4 dg 
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nd 的 码 守 ,其 先 验 传输 概率 为 2“, 因 此 式 (10,20) 中 的 nj ‘log p;! 28 8 A 11n, 即 该 码 的 
速率 R| FR (n  k)3 5.85 yama ar j R; K. SJ 36 10,20b1。 因 此 用 于 评 人 入 码 树 上 
路 径 的 相应 测度 { 命 名 为 hano 测度 以 纪念 它 的 发 明 者 ) 是 ， 


PCI) 
i = } — È 
HFX) > Ë PPS | (10.21) 


综 上 所 玉 eS x .x ATAR LAA PRA it k 2. OB LER — PME 
)] RS PR REY g jp , WJ Fano 测度 prfxi) 最 大 的 那 条 路 径 最 有 可 能 是 正确 路 
径 。| 注释 :在 式 (10.21) 中 ,我 们 假设 信道 是 DARLIA 10.21 ——_ p(v la) Æi 
的 转移 概率 。 另 外 ,信道 输出 字 蔡 集 A, 的 概率 分 布 p(y 可 以 由 信道 输入 宁 符 此 4, = 


:0,1; 的 概率 分 布 (1/2,1/2) 推 导出 ,对 于 任意 YEA Ñ ply) = [p(y10) +p(vl1)].] 


二 面 的 讨论 让 我 们 很 自然 地 得 到 了 一 种 最 简单 的 序列 译 码 算 法 ,堆栈 竺 法。 堆栈 译 码 
器 将 码 树 上 有 限 的 路 径 集 合 $ = ix, x. E Fano 测度 (x) epee (x ec 进行 排序 。 
最 佳 路 径 x, 排 在 堆栈 的 顶端 ,次 最 住 路 径 排 在 第 一 位 ,以 此 类 推 , 初始 化 时 ,5 T RETER 
和 终点 都 在 起 始 节 点 的 长 度 为 0 的 平凡 路 径 ; 它 的 测度 定 关 为 0。 在 每 一 步 译 码 中 ,堆栈 顶端 
的 路 径 x, 被 删除 ,而 代 之 以 名 RPT RE ERR. CIE x, 多 一 个 到 路 的 长 度 。{ 如 果 x, 延伸 到 
或 者 超出 上 深度 , 则 只 存在 一 条 可 能 的 延伸 路径; 参见 图 10.20.) 利 用 式 {10.23) 计 算 这 些 新 路 径 
的 测度 ,并 将 它们 插 到 堆栈 中 合适 的 位 置 注意 计算 新 路 征 的 调度 时 ,只 需 计 算 求 和 式 (10.,21) 
中 的 最 后 n 项 ,因为 其 余 珊 的 和 就 是 已 邯 的 yt 有 w)。 详 代 响 的 判 沁 结 末 为 第 一 个 到 达 堆 栈 顶 
PETIZ URIEN L+ M BERIE). 
Bj 10.10 考虑 图 10.231 FARE, Ca L-2,M-2H RRS, AEAT Hy, Ri 
直接 在 各 条 路 径 的 端 节 点 上 方 标注 了 其 Fano MAR. 当然 在 实际 应 用 中 ,需要 利用 
式 (10.21) ,根据 码 树 图 上 的 支 路 标注 和 接收 序列 Y= (yya，…) 来 计算 测度 。 例 如 ,路 径 
ABE 的 测度 为 -2 堆栈 算法 的 执行 过 程 如 下 表 所 示 ; 每 个 堆栈 中 存储 的 路 径 用 它们 的 
庙 节 点 表示 ,相应 的 测度 标注 在 括号 中 . 





ldo HERG J$ OR 38 PCMH He F áe G RE RRA, PT PMH Te 
0,f 或 日 的 都 大 , 它 被 排 到 了 堆栈 顶端 译 码 器 最 后 的 判决 结果 是 节点 天 ;相应 的 信息 
比特 是 10,， 但 是 注意 KFA PARANA RD ESL AR. AA LMA 4 6 s. G 
的 测度 值 术 小 ,所 以 堆栈 译 码 器 并 不 能 到 达 。 有 美 堆 栈 算 法 路 径 选 择 的 简单 介绍 参见 
习题 10.23. 
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图 10.21 一 个 用 于 序列 译 码 的 工 =2,， 好 =2 码 树 

堆栈 算法 是 一 种 利用 树 图 寻找 可 能 路 径 的 相当 有 效 的 方法 ,但 是 它 也 存在 一 个 缺点 :上 由 于 
在 译 碚 的 每 一 步 , 详 磺 器 都 必须 记录 下 一 系列 运 今 为 止 访 问 过 的 所 有 了 路 季 , 因 而 需要 的 存储 量 
JE KH AABN. Fano 算法 是 男 -种 序列 幸 人 机 算法 , 它 几 乎 总 是 能 够 找到 与 堆栈 算法 相 
同 的 路 径 , idi HATTI EARS 

Fano 算法 的 基本 思路 是 这 样 的 。 在 译 码 的 每 一 步 , 译 码 器 停留 在 码 树 上 的 某 个 节点 。 详 
碚 器 由 这 个 节点 入 前 看 { 即 往 码 树 上 深度 更 高 的 方向 看 )， 如 果 它 找到 -个 可 能 的 六 总 , 吾 回 
前 称 到 那个 节点 上 。 和 否则 ,就 返 辐 并 设法 洛 着 另 一 个 分 支 移动 。 它 通过 将 其 个 节点 的 测度 [利用 
式 (10.21) 计 竺 ] 与 一 个 活动 门限 T 进行 比较 ,来 判断 是 否 选择 该 节点 ， 当 泽 但 器 到 达 一 个 终 鼎 方 后 
( 即 深度 为 上 + M 的 节点 ) 时 就 停止 工作 ,并 根据 在 这 个 节点 结束 的 多 路 输出 相应 的 信息 序列 。 

Fano 算法 的 县 体 流程 图 如 图 10.22 所 示 。 下 边 是 对 该 流程 图 的 一 些 说 明 : 


|. 译 码 器 从 起 始 节点 于 始 工作 ,此 时 的 了 =0- 

2. 在 算法 的 实 册 过程 中 ,门限 了 的 数值 按照 A 的 整数 倍数 不 断 变化 ,其 中 ,是 事先 选 定 
的 常数 (UALS Pee SRT ma, A MI S 

3. F. ARISE Ct SRE AB. 才 示 后 退 -“ 问 前 看 "是 指 计 算 码 树 
上 前 面 一 个 支 路 节点 的 测度 值 , “和 癌 前 移 ” 是 指 译 码 器 移 到 前 面 一 个 文 路 的 节点 上 上。“ 回 后 看 ” 
种“ 向 后 移 " 的 含义 类 位 。 旭 果 算法 从 起 始 节 点 “ 辐 后 看 ,就 假设 其 测度 为 x-* - > , FF H P, 
jk te MO E ti y sa FF la iB 

4. .表示 节点 。 对 - :个 给 定 的 Y. BEV. 志 示 语 码 树 具有 最 大 测度 的 前 面 一 个 支 路 的 
节点 ;最 差 ,代表 具有 最 小 测度 的 前 面 一 个 交 踏 的 节点 。 

5, 在 一 个 给 定 的 节点 .如果 了 和 值 增加 入 后 比 该 节点 的 测 次 大 , 则 称 门 限 TRH. OR 
缩 门 限 是 指 按 步 长 A 上 增 大 门限 值 ,直至 门限 是 紧密 的 。 只 有 在 向 前 移动 后 才 会 间 "T BOR 
窗 ”, 它 涉及 到 穆 动 前 事件 的 状态 。 

6,“ 是 省 结束 "是 可 询 当 有 询 节 点 是 否 就 是 终端 节点 ;如 果 是 ,算法 结束 。 

例 10.11 利用 图 10.21 所 示 码 树 来 描述 Fano BS. (AWM PRR A= 1.) FRAN FES 

现 过 程 的 一 个 总 结 , 表 中 列 出 了 所 有 访问 过 的 节 志 和 门限 值 的 变化 ,以 及 发 生变 化 时 在 流 

程 图 中 的 相应 位 置 (参见 图 10.22 中 的 标注 1,2,3,4,5)。 


F 数 TFT A T t E > 数 TF A T 位 E 
l 4 Ü l 11 F -2 2 
2 1 -1 4 12 B -2 5 
3 B -1 2 13 4 -2 Š 


[BER } 
F W FW AR T 位 E + 数 FF 点 T fi F 
4 B 一 1 2 14 C -1 2 
5 B -l 5 15 F -2 2 
6 4 -1 5 16 F -1 3 
7 A 一 > 4 17 J -1 2 
8 H 一 也 2 18 J Ü 3 
9 D =? 2 19 K Ü 2 
10 B -2 5 20 it 


建议 读者 按照 表格 中 的 每 一 步 完成 译 码 过 程 ， 这 里 选择 其 中 三 个 特别 重要 的 变化 过 
程 进 行 介绍 ， 





图 10.22 Fano 序列 译 码 算法 的 流程 图 
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6*7: 在 第 6 步 , 译 码 器 列 从 节点 AARET S A 处 ,此 时 了 = - l. PR ZER BR 
环 的 节点 "的 答案 是 “和 否 "”, 因 为 相对 于 4 来 说 ,节点 B R 4k A. 然后 我 们 向 前 寻找 到 
下 一 个 最 佳节 点 CL, BME p= -2, PRA AAR ee TORE ES EG” HAG 
观测 ;结果 是 p= - = {参见 上 文 的 说 明 3). 这 意味 着 在 下 一 个 “1 sf" 问题 处 ,我 们 仍然 
EDS” ,结果 是 将 门限 了 降低 到 -2; 这 样 就 到 达 表 中 的 第 7 了 7 步 。 

12--13:4% 129 FS SS BJ AA 95 RE BRET ARAN p= -2 PHARETRA 
联 坏 的 节点 "的 答案 为 "是 ”, 因 为 相对 于 节点 如 ,节点 万 是 最 坏 节 点 向 后 观测 到 这 节 点 
4 处 (=D0, 这 意味 省 对 问题 rsT 的 回答 为 是 因此 译 友 器 向 后 移 至 节点 A 处 ,到 
过 第 ]3 步 ， 

1$-*165: 在 第 15 步 , 译 码 器 刚 从 节点 如 向 前 移 至 节点 下 处 ,此 时 个 = -2。 因为 下 不 是 终 
端 节点 ,所 以 在 问题 “结束 "处 我 们 选择 分 支 “ 否 ",， 因 为 在 上 一 节点 记 处 ,门限 T= -2 是 
紧密 的 ,所 以 问题 “TT 是 否 紧 密 " 的 各 索 为 “是”, 这样 了 的 值 被 紧缩 到 T= -1, 就 到 过 
#, 16 # 


注意 在 例 10.11 中 ,Fano FERS 3S 79 PI AD ASR (T AA AO RR 10.10 P RH HE Pe Ps fa 3] HPJ 
get oe Sn Rin). CAS LESAN; 倘若 适当 地 安排 某 些 细节 ,Fano 算法 和 堆栈 民法 实际 上 通常 
能 够 得 到 相 问 的 结果 此 结论 的 证 明 参 见习 题 10.25 ~ 习题 10.34. 

最 后 汰 要 指出 , 当 卷 各 码 的 存储 旦 超过 Viterbi 算法 的 允许 范 才 时 ,序列 译 码 算法 的 性 能 
几乎 与 viterhi 算法 不 相 上 下 .但 是 序列 诺 码 算法 在 码 情 上 完成 一 次 搜寻 所 需 此 的 计算 量 却 丰 


不 常 不 确定 的 ,这 会 带 米 一 定 的 问题 ,具体 参见 12.3 7. 


>] R 


10.1 (本 习题 将 介绍 卷 积 码 的 一 些 高 级 代数 特性 ,它们 与 多 项 式 挫 阵 方 法 有 关 .。 为 此 需 鉴 
「 艇 一 些 主 埋 想 环 上 横 运 算 的 理论 ; 戎 考 Lang (OMA 15 章 第 2 节 .) 设 下 为 一 个 域 ， 
“Apasa FEER A. WS. FLx1 ”表示 所 有 nn BETH CAC). f. x) 

合 , 其 中 每 个 分 量 前 是 F[x LB, BRA C E SON F| x" 的 一 个 下 集 , 它 满 
ie: geil hola 持 亲 的 ;(b) 对 乘 数 为 Fl x | POUR REAR AS 
闭 的 ,此 如 果 了 f= (f. FEC WAHE aC Fl rl, A af= (of af, JE C. C 的 
-个 基 是 集合 |g,…,g!CF[x), 它 满足 每 个 fE CMA LRH. -地 表示 为 
f= >. eB PA a. ape Fle]. BUA k PATS RUBBER ERE) » 

(a) 证 明 :每 个 卷 积 码 有 都 具有 这 样 的 一 个 基 , 并 有 LE 的 每 个 基 都 包含 相同 数目 的 元 
A lat tae Fia] a so 
(b) HEAR HHA CHERE G 的 行 go, PR — PY 10.4) PT YS 


才 是 一 一 对 应 的 。 并 证 明 这 等 价 于 g;,…,g; 是 线性 独立 的 , 即 SD” a.g, = 0 就 意 
味 着 a, =…= a =0. WAR: 





10 ,2 


10.3 


10.4 


10.5 


10.6 


10.7 


lo 着 fF 25 239 


AES PARE APR BT ERR EE. CHE: AK 
NWN RASA RB AN, FS F. ) 

(ce) te C ETERO k Bum. PAE C HJ -个 基 ig,…,gi! ,Flxj" 的 一 个 
Biff) PIE BIRR JS IN oo. a OF i =1,2, ek- 1, TE u, l 
aJ fh g =a f Eb i=1,2,…, 上 多 项 式 a, 是 惟一 的 ,被 称 为 该 码 的 不 变 
AT. inte ERS - 1 RIG -2WURB RE RA C= (x+ ],x + OÉ 
(2.1) ERRAI x FE. 

(d) 定义 Fla] 上 两 个 元 素 之 癌 的 点 冬运 算 为 fg= 》， fe, € Fis] WHH 
当 f=0 时 ,对 于 所 有 gE Fla!’ AE g=0, 

(e) WUR IE. ff AR F[x] 03. -个 基 , 其 对 偶 基 | ,…, 久 | 满足 当 ie ht t =0; 
3 i=j HJ,f f = 1, 证 明 这 样 的 对 偶 基 存在 并 日 是 性 一 的 。 

() UR cB — T RIS, Heise CEMA Ce =the Fox} :hg=0, 对 于 任意 
g€ Ci, RHE), GH, fe) PAS , ERB If). E ART OC 
PE. Alb C -的 维 数 是 n- k. ARH CARB HAS. 

(g) 设 C 是 一 个 卷 积 码 ,其 多 项 式 生 成 矩阵 为 上 x a GEG. WRF T kx z BT 
A V BEEF H 满足 GH’ =, HP h 是 kx 上 阶 单 位 矩阵 ,我 们 称 C 是 可 转 置 的 。 
AAYAN ASK a,,… LBW) 1 都 等 于 1 时 ,C0 才 是 可 转 置 的 。 且 
确 写 出 本 章 中 卷 积 码 - 1 和 卷 积 码 -2 OE Pt. 

(h) 后 一 般 地 ,如果 后 = AL WBE H RAG oC). WAAR aly, 
G 存在 - -个 w(x) 转 置 . Bw G=[x +1,x +1) wtx) 转 置 ,其 中 plx) rtl 

我 们 在 前 面 提 到 ,一 个 (nx, 分 组 码 可 以 看 做 一 个 并 =0 的 Cn, k ERE, MATAA 

开发 ,二 级 截断 的 分 组 友 可 以 看 做 什么 ? 

在 卷 积 码 的 状态 图 上 ,两 个 状态 之 间 可 能 有 不 止 一 条 支 路 相连 。 试 解释 什么 情况 下 会 

出 现 这 种 可 能 ? 

考虑 一 个 确定 的 (n,1) 卷 积 码 ,其 截断 长 度 为 L。 试 证 明 采 用 原始 的 “将 接收 序列 与 2° 

个 可 能 码 字 进行 比较 "的 译 码 算 法 所 需要 的 计算 景 , 是 采用 Viterbi 译 公 算法 所 寡 要 计 

息 量 的 2.“* 傍 、[ 这 里 下 = 码 的 约束 长 度 ; 参 见 式 (10,2)。] 

在 正文 中 只 介绍 了 大 = 1 情况 下 的 Viterbi 泽 码 算法 . 试 推 广 到 一 般 的 下 - (注意 状态 之 

问 的 多 条 支 路 (参见 习题 10.3); 并且 确认 你 的 算法 适用 于 分 组 码 ,因为 它们 是 好 =0 的 


iq G 是 一 个 型 = 1 的 (3,2}) 卷 积 码 , 其 生成 第 阵 如 下 : 
] + | ] + x 
G = i lix 0 


(a) H EARS E SR 10.3 和 图 10.4), 

(b) 昌 出 它 的 状态 图 (参照 图 10.5). 

(e) 假设 在 二 进 制 对 称 信道 上 使 用 该 公 , 且 截断 长 度 =6, 利 用 Viteri 算法 对 接收 到 
的 序列 O11 011 111 100 101 001 101 进行 译 码 。 

考虑 对 高 斯 信道 使 用 Viterbi 算法 (参照 第 4 章 )。 证 明 标 注 Ls OT awe 


` = 
eet ae ey de ie oe ee em ee” 
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10.8 


10.9 


10.10 
10.11 


10.12 


10.13 
10.14 


10.15 


10.16 
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MA: 

HAs. D) = lly — xl? 
HP x RA LOI sot 转移 的 n FE K BL. y SER) n 维 接收 天 量 。 
[注意 ,| zl = 5) zi Ez = (aos) UL BE. | 
2: 7 10.5 所 示 的 状态 图 ,这 及 表示 从 a 到 a 日 不 经 过 a GAMO E: Play Lk [al 
到 a) 的 重量 为 i 的 路 径 总 数 。 WABA B. 的 通用 公式 。 
考虑 如 下 可 标注 的 并 问 图 ， 


可 C 


D 


吉 踏 标注 用 4,8,C,D 表示 , 试 计算 从 节点 a 到 节点 83 的 传输 量 。( 有 关 定 义 参 考 附 
3e Do) 

HEH - 2 REEMA A(x) 以 及 完全 路 径 枚 举 多 项 式 Alx, yz) 

ie C HR OM = 2 的 {3,1) 卷 积 录 ,其 牛 成 算 阵 为 (x* +1,x ttl te td). TPE 
C 的 40f) 和 4fxr,y,z)。 现 在 假设 该 码 用 于 如 下 所 示 二 进 制 删除 信道 ， 


0.4 


Ü) Ü 


EPS di ea IRE Ps É) F RS P, LA, RRS P, 
的 上 界 ， 

考虑 将 -个 二 进 制 (n,) 卷 积 码 应 用 于 一 个 懈 定 的 二 输入 离散 无 记忆 信道 ,该 信道 是 
有 有 了 噪声 干扰 的 , 即 共 信道 容量 小 于 log2。 令 PB 表示 对 该 码 的 一 个 L 级 截断 的 码 字 进 
行 详 码 时 ,至少 出 现 : -次 错 谋 的 概率 。 汗 明 lim, PLY? = 1. 

证 明 式 (10.18) 给 出 的 P, 的 界 是 正确 的 。[ 建 议 : 先 证 有 明 上 =1 时 的 情况 .J 

将 10.3 节 中 给 出 的 界 [ 式 (10.157). 式 (10.17) ,以 及 式 (10.18)] 推 广 到 高 斯 信道 .|[ 提 
示 : 民 的 形式 应 该 是 相同 的 ,但 是 y 将 等 于 e -az 。 见 习题 7.20。] 

汗 明 对 于 一 个 自由 耻 离 为 d 的 善 积 码 , 当 y 的 值 很 小 时 ,错误 事件 概率 满足 P, = ay” + 
OC) ,并 确定 常数 a 的 值 。 对 P, #W P, 推导 类 似 的 结果 (参照 例 10.8)。 

将 Plotkin 界 (习题 7.24) 应 用 于 一 个 工 级 截断 的 (n,) 卷 积 公 , 证 明 其 白 由 好 离 d, Wi 
iE: 


JAL- ] 
= mi feos 
dy = min | mM + Ds 
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10.17 本 习题 涉及 到 眷 积 权 状态 图 的 : :种 特定 算法 算法 输出 一 个 非 负 整 数 ;和 刹 望 你 能 指出 
它 的 含 必 。 假 设 当 赂 中 各 状态 之 间 发 生 转 移 时 ,相应 的 连接 支 路 上 将 标注 此 时 编码 器 
输出 的 "1" 的 数 且 。 例如 卷 积 码 - 1 的 状态 图 妨 下 图 所 示 ! 对 比 图 10.5): 





一 些 符号 的 会 义 为 ; (1)F 表示 所 有 状态 的 集合 ; (2) 49 ,ww ) 表 示 连 接 状 态 s, 到 zw BY 
路 上 的 标注 ; (3) 从 状态 > 出 发 经 过 一 步 就 能 够 到 达 的 状态 集 称 为 的 后 继 一 一 例 站 上 
面 状态 图 中 状态 d 的 后 继 为 14 ,8!;(4)wo 表示 全 零 状态 。 现 在 介绍 该 算法 ( 它 包 括 一 
TAAR do) BP ve VR VEIT PRS): 
算法 X: 
1, 对 于 所 有 ce V, dla) = + mi S+ p HABE. 


2. WÍ og BJP ASE o PR T co AIR, 2 dled flag. r). 
3, 村 EV -S JER RRB dO a, OR r= ra RH dle PA F F. 


4. 35 b AB) s d: A o ASAE HE S HAGE oS dir mint die’) dtr) 4 Mae). 四 到 党 3 zF, 
现 在 的 问题 是 ; 

(a) 算法 工 的 作用 是 付 么 ? 

(b) 对 具有 下 列 多 项 式 生成 年 阵 的 卷 积 码 应 用 算法 X: 


[x 4 x + l. xl + x + vi), [v + x + 1. x) + x° +l, x? ta tax 1] 





[+ l l + x 
x l+ Y 0 
下 面 的 两 道 习题 涉及 到 错误 地 选择 了 卷 积 码 类 型 时 所 面临 的 一 个 严重 问题 ,灾难 性 错误 

的 传播 。 在 习题 10.18 中 ,我 们 通过 一 个 具体 的 例子 ,说 明 这 个 问题 的 危害 。 Hd 10.19 
中 ,给 出 了 灾难 性 卷 积 码 的 儿 个 等 价 定 义 。 为 方便 起 见 , 在 这 两 道 习 题 中 都 假设 码 是 截断 但， 
即 输 入 和 输出 序列 都 是 有 限 的 。 
10.18 #1E— T M =2 62, DRH , HEHE RIEAN G- [x+l,x +l], 

(a) mE ERRER 

(bh) ERHET ERE SE A(x)。 并 说 明 为 什么 这 种 尝试 会 失败 。 
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(c) 假设 该 码 被 用 在 二 进 制 对 称 信 道上 ,信道 的 原始 误 比 特 率 为 0< p<12， 假 设 输 人 
流 为 0000000… ,产生 的 传输 流 为 00 00 00 00…。 进 一 步 假 说 接收 流 为 11 00 00 00…。 
利用 Viterbi FER HITER, RS AR RIS? 

(d) BEC, foe AMAM, TEC, BAD Viterbi FERS AE AY iF FRR 


So SE — UE) XF P TE 18 , kk ul: BH JiM ea PUT = i = = [提示 :利用 te) 的 第 


果 , 并 注意 观察 最 捕 必 然 会 出 现 两 个 连续 错误 比特 ,|] 
10.49 在 习题 10.18 中 ,我 们 已 经 看 到 对 于 菜 种 码 型 ， 有 限 个 信道 错误 可 能 会 造成 无 限 个 译 现 
错误 。 能 铝 产 生 这 种 效应 的 码 称 为 灾难 码 。 在 本 习题 中 ,将 给 出 若 下 种 等 价 条件 ,来 
判断 一 种 给 定 的 码 是 否 是 灾 准 码 。 设 C6 是 -- 个 (mn PS AE EA G, 
试 证 明 以 下 条 件 是 等 价 的 (同时 注意 观察 ,习题 10.18 中 的 码 满 是 以 下 每 一 个 条 件 ): 
(a) 存在 一 个 输入 流 包 含 无 限 冤 个 “] ,但 是 相应 的 输出 流 只 包含 有 限 多 个 “1”， 
(b) FE k AMARU Ox) = plsql) EY = 1.2... k RAI g (x FER 
(RR) AUK CHC (x), C (Ca = (x), Ae) ) GRAS 
Sy ie 
(c) 在 状态 图 上 存在 一 条 封闭 的 路 径 { 除 了 在 全 零 状态 上 的 自 环 以 外 ) ,其 每 条 文 路 上 
的 标注 均 为 00…0( 支 路 标注 如 图 10.5 Pray). 
(d) 假设 该 码 被 用 于 二 进 制 对 称 信道 ,其 中 9 < p <1/2, 则 存在 一 个 包含 有 限 个 信道 错 
误 的 图 案 , 它 能 造成 无 限 个 译 码 错 误 。[ 提 示 : 令 信道 错误 图 案 为 (b) 中 的 矢量 C. ) 
(e) 该 码 的 第 上 个 不 变 因子 a, 不 是 x OR SERS EB 10.1c)。|[ 注 意 :根据 主 理想 定义 
ESERIES. GR kx k 阶 子 行列 式 的 最 大 公约 式 不 是 x 的 
T. 特别 地 ,如 果 像 习题 10.18 中 那样 上 = 1, 这 个 条 件 意 味 着 G = (g (x). ,8, (x)) 
的 nm 个 多 项 式 的 最 大 公约 式 不 是 x BORE. | 
10.20 (a)- - 般 (n, 上 ) 卷 积 码 的 树 图 与 六 = 1 卷 积 码 的 树 图 (图 10.19) 有 什么 不 同 ? 
(b) 证 明 式 (10.20) 中 的 In log Vp: 项 等 价 于 一 个 (n ,上 和 着 积 码 的 kin, 
10.21 如 和 何 定义 高 斯 信道 的 Fano 测度 :参照 式 (10.21)]? 
10.22 考虑 一 个 回 定 卷 积 础 《的 固定 截断 。 如 果 它 的 铬 项 式 生成 种 阵 不 存在 全 0 列 , 试 评 明 
码 字 (x ,x ;Xecys 2) 中 恰好 有 一 半 的 x, =0, —#¥ F x = 1. 
10.23 在 本 习题 中 ,我 们 将 给 出 码 权 上 堆栈 算法 所 选择 路 径 的 特征 措 述 (或 者 更 确切 地 说 ,是 
未 选择 路 径 的 特征 描述 )。 假 设 研究 的 树 图 如 图 10.20 所 示 ,对 每 个 节点 "都 有 一 个 测 
度 wta)。 进 一 步 很 设 利用 前 面 所 描述 的 堆栈 算法 来 选择 码 树 上 的 路 径 。 设 P T P' ie 
三 树 上 的 两 条 路 径 EIEREN d 时 分 义 ; 


d. 
Í 


f 
Fas 





af 
L Leif 





| ta | 
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试 证 明 如 采 mini eC ag. atts eC Op, a) > minl goggle’. ) |, P ANT SE fe: 
堆栈 算法 选择 的 路 径 。 (BALA Bt 10.30, XT Fano 算法 选择 的 路 径 进 行 了 类 似 描述 。) 

10.24 按 如 下 方式 对 图 10.21 所 示 的 码 树 分 配 新 的 测度 :(a) 长 度 为 4 的 路 径 具 有 最 大 测度 ， 
(9 用 堆栈 算法 选择 的 路 径 和 (人 (ec 用 Fano 算法 选择 的 路 径 不 同 。 


在 下 面 的 7 道 习 题 中 ,将 介绍 Fano 算法 {图 10.22) 的 几 个 最 重要 的 性 质 。 特 别 地 ,我 们 将 
得 天 Fano 算法 所 选 路 径 的 一 种 描述 (习题 10.30) ,结合 习题 10.23 可 以 证 明 ,堆栈 算法 和 Fano 
算法 选择 的 路 径 实 际 上 通常 是 相同 的 。 这 里 假设 译 码 器 丁 作 过 程 可 以 用 序列 (mn Ti), Coz, 
7 ) ,… 来 描述 ,其 中 表示 节点 ,了 表示 访问 二 时 的 门限 值 。 节 点 o 的 测度 用 p(w) 表 示 ; 我 
们 假设 测度 已 经 经 过 舍 人 处 理 ,它们 都 是 数值 A 的 倍数 。 如 果 两 个 节点 o 和 在 码 树 的 同一 
路 径 上 SEH ov BREE. 大 ,就 称 v' 是 v 的 一 个 后 继 ,v 是 人 的 一 个 前 趋 。 如 打 RE 
He e 的 太 1, 也 将 它 称 为 v 的 直接 后 继 ， 


10.25 假设 Fano 算法 运行 到 某 一 步 时 ,产生 了 序列 (vy 了),， Ca Tet, Gmo T.) ,其 中 o 是 
o 的 一 个 后 继 , 而 ww =z, 但 是 对 于 =1,2,* ,nn 一 1,v 天 Do 斌 证 明 T = T. 

10.26 假设 是 ”的 前 趋 ,其余 假设 同 习题 10.25。 试 证 明 T. = 了 - A. 

10.27 说 明 第 一 次 到 达 任 何 节点 (除了 起 始 节 点 ) 时 , 门 眼 在 下 一 个 “向 前 看 "之 前 是 烷 密 的 ， 
即 门限 了 将 等 于 该 节点 的 测度 。 

10.28 说 明 门 限 为 了 时 从 节点 “向 前 看 "失败 后 (也 就 是 说 ,问题 "ws 7 的 答案 为 否 ) MA v 
向 前 的 每 条 路 径 都 必然 包含 一 个 测 找 < 了 的 节 扣 。 

10.29 如 果 Fano 算法 在 (v, 了 ) 处 , 试 说 明 从 v 的 每 个 前 趋向 前 的 每 条 路径 都 必然 包含 一 个 市 
点 ,其 测度 < T。 作 为 推论 ,说 明 o 的 直接 后 继 , 只 要 其 测度 > 了 ,就 必然 已 经 说 游历 
过 了 了。 

10.30 参考 习题 10.23 的 示意 图 ,说明 如 果 minj pf eee) Cory a > min} glog), 
legos ee ew | R Fano 算法 不 会 选择 Po 

10.31 习题 10.30 的 结果 说 明 ,给 定 任意 两 条 路 径 PMP ,Fano 算 法 将 舍弃 其 中 的 一 条 。 但 
是 可 以 想像 ,如 果 算 法 陷入 了 死 循 环 中 , 它 将 不 能 选择 任何 路 径 。 试 说 明 这 种 情况 是 
不 可 能 出 现 的 。 [提示 : 利 骨 习 题 10.26 KBR. | 

10.32 考虑 在 一 个 二 进 制 删除 信道 中 使 用 卷 积 码 - 1, 信 道 的 删除 概率 为 E: 


a ete ,0 
€ 
2 
£ 
] l 


L-E 


40), AIH Ca) Viterbi 算法 ,(b) 一 种 序列 详 码 算法 (如 果 你 利用 的 是 Fano RSE, A= 
152)y。 比 较 出 现 帘 发 错误 时 这 两 种 算法 的 性 能 ,会 得 出 什 人 么 纪 论 ? 
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谋 这 里 用 卷 积 这 个 术语 是 合适 的 。 如 果 19,!1 和 15, 1 是 两 个 序列 ,它们 的 卷 积 是 序列 
iy RELH: 

(a = Dimba 

Ji fE E ERK a(x) = SD) a,x". b(x) = 2 baz, SS MOREA: 
(Gide(x) = a(x)h(x) 

PA, HE pa pe AU SHEER X| y Pe A AR PEE, 9k ul 09 BT H) ee a OE HE 
AS « Wid Hate et | AL 10.4) EERE E a HE A 38 RE BJ Se ih rN, 

至 少 还 有 一 种 重 竖 的 方法 , 即 线性 时 序 电 路 方法 ,这 里 未 做 介绍 (参考 文献 115],205 ~ 
232 Fi). 

我 们 将 第 7 竟 至 第 9 ARRERA ARES aN, VAR BIT A ATE RHQ, 这 
个 术语 基于 如 下 事实 ;分 组 码 将 数据 编码 成 长 度 为 n 的 独立 分 组, 但 是 在 卷 积 码 
中 ,大 小 为 n 的 相 邻 分 组 之 间 是 相互 关联 的 。 钢 第 7 章 注 释 2。 

其 他 作者 对 约束 长 度 有 不 同 的 定义 。Formey[ 15,213 ~ 232 页 | 定义 第 工 个 输 人 的 约 
REEN ov = max [deg( g,)], 而 总 的 约束 长 度 为 ; = Xiro Massey[21] 定 义 约 东 
长 度 为 (时 + ln, 我 们 的 定义 与 Viterbi 和 Omural 25] 的 相国， 

实用 编码 器 的 -个 重要 组 成 部 分 , 即 多 路 开关 ,在 图 10.3 PHARM, EAE 2: 
SESE HEM C. AC, 中 选择 比特 输出 到 箭 道 中 

网 格 岁 是 为 了 便 二 概念 上 的 理解 ,在 Viterbi 编码 器 的 实际 应 用 中 并 不 是 必需 的 。 可 
以 简单 地 利用 状态 图 作为 算法 实现 的 动态 模型 。 

示意 图 通常 称 为 de Bruijn 图 ,以 纪念 当代 荷兰 数学 家 N. G, de Brmijn, 他 研究 了 该 表 
示 方 法 的 许多 特性 ， 

其 他 作者 将 这 个 生成 函数 称 为 码 的 传输 增益 或 者 传输 函数 。 

由 于 硝 是 线性 的 ,我们 将 亡 计 算 的 错误 概率 的 各 种 界 是 与 假设 的 传输 路 径 巨 关 的 。 
(la BE 7.5 证明 中 的 最 后 两 句 话 ,) 

本 节 内 容 的 安排 量 与 具 史 上 发 现 的 顺序 完全 相反 的 ,历史 上 发 现 的 顺序 如 下 :Fano 
算法 (1963 E) ,堆栈 算法 (1969 年 ),Fano 测度 的 解析 认证 (1972 年 }。 这 里 的 安排 借 
W T Massey! 21 | , 

实际 上 ,将 “堆栈 "理解 为 “优先 级 排队 "更 为 恰当 ,这 是 由 Aho, Hoperoft, LA Æ Ullman 
[1 定义 的 一 种 数据 结构 











Sie BKM 


YE- -个 离散 无 记忆 信 源 ,其 统计 概率 为 = Cos pis pi) BR ha, A 
随机 变量 O, U, 有 具有 相同 的 概率 分 布 PlLU=il=p,,i=O,1,--,7 —- 1. 根 电 第 3 章 的 结 
论 ,无 失真 地 表示 这 个 信 源 原则 上 需要 平均 H,(p) = - SD” plgp 比特 每 信 源 符号 .本 
章 中 ,我 们 将 介绍 一 种 称 为 变 长 信 源 编码 的 设计 方法 。 

为 了 能 了 解 一 BRE GEER E RABIES. PROOFS FAA RHE), SRR 


信 源 p= (5.4 +R OR) k AWAQ Peg Gel TS 比特 。 信 源 符 号 集 As = 10,1,2,3); 


现在 根据 表 11.1, 对 信和 源 序 到 U. 及 ,… 进 行 编 俏 。 例 如 , 信 源 序列 03220100::: 编码 为 


O11111011001000-::. BARMERA IE RREAN S TIRRMENENI ‘14 
Ft Est gas 1.75, Fa, PEI A BHAS AY I 2 nl LOR Tae 
符号 都 编码 为 0, 从 而 使 平均 值 降 为 1 比特 每 符号 。 表 11.1 Hy H BR eT 
译 性 , 即 根 据 编 码 流 可 以 完全 恢复 信 源 序列 。 例 如 ,比特 流 1001011100010110… 私 对 应 信 源 序 
FI 101300012. 《可 以 通过 所 种 方法 来 证 明 这 种 特殊 的 编码 是 惟一 可 译 码 , 例 如 通过 观察 发 
现 ,没有 哪个 码 字 是 任意 其 他 码 字 的 前 缀 .因此 表 11.1 中 的 编码 确实 仅 需 要 平均 1.75 比特 


每 符 汪 ,就 能 无 失真 地 表示 信 源 ( 记 , 二 ,于 p) 


表 11.1 信 源 (二 ,可 , 百 , 言 ) 的 一 个 变 长 编码 
sn å ag äs 
1 一 
| + 10 
2 " 110 
3 = 1 





一- 一 — — 
r SS ae 


在 本 兹 的 镜 余 部 分 ,我 们 将 上 述 例 子 推广 到 任意 离散 无 记忆 信 源 (DMS), 利 用 任意 (不 只 
是 二 进 制 的 } 字 答对 其 进行 无 失真 编码 。11.2 PRR- -- 可 译 码 的 纯 组 合 问题 。11.3 HITE 
信 源 的 匹配 编码 问题 。11.4 节 介 绍 设计 信 源 最 佳 变 长 码 的 著名 Huffman 算法 。 


ot i `A kh cb EE Se ; 
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14.2 惟一 可 译 的 变 长 编码 


IWS 是 一 个 包含 个 元 如 的 有 限 集 合 .一 般 定 羡 5=10,1,…,s-1]: S 上 长 度 为 上 的 宁 
符 素 是 一 个 由 5 BR oc K 5, sr ns 组 成 的 有 序 序 列 。 空 字符 串 不 包含 任何 字符, 用 外 表示 . 
如 果 o = sys s Ale = tty EFIE WETEA o*r Re r ferit sis. st 基 
Be=a xa, * o Ml s, RA o HRs, RA o MTF To, RAs WEA, Ame ee 
HPF RPE GAAS. FAR z MK lol. 外 此 可 知 , 对 十 任意 一 
EB a Ale.lo*e cl =lel +l rl Pee. 

S LACE KMS S E S CEARR- t T 82 E Sr. HRS CISPR C Mas, 
iC, AC, 是 两 个 码 ,它们 的 乘积 表示 为 Ci > C; ,由 形式 为 o, * o, HATA TIT PB H pR. TEP 
6,€C,.0,€6C,. -RBR RH k RERE C 表示 , 即 caCa Ce C k TAF). 

如 果 C pEi FIRA RR AE, M C 为 惟一 可 译 码 (UD) ， 
这 意味 着 ,如 果 T, TT s, HET r 和 部 是 - T $5 | Il tr = G|, 
nmr = go AM CY PE ER AB REE HRA PAS FS HK yk. (JE 11.1 
介绍 了 惟 -…- 可 择 码 的 一 个 等 价 定 六 。) 

例 11.1 i s=2, #64 C = 10,10,110,111! £ C, = i0,10,100,101i . C, 是 惟一 可 译 码 ( 事 

实 上 它 也 是 一 个 异 前 缓 码 , 见 下 面 的 定义 ), 但 人 ,不 是 惟一 可 译 码 。 例 如 ,在 C， 中 

10* 101 *0=101*0*10, 所 以 宇和 罕 事 101010 Z HER C, 惟一 详 码 ， 


有 一 类 特殊 的 称 为 异 前 组 码 “ 的 惟 -- 叮 泽 码 能 够 满 是 我 们 的 要 求 。 WR SAT 4 89 
字 是 任意 其 他 码 字 的 前 缀 , 则 称 码 C WRB. FE A P ME -— n| EY 
(网 习题 11.3) ,但 反 过 来 术 一 : 定 成 立 。 例如 10,011 是 惟一 可 详 码 ,尽管 0 是 0 的 亲 缀 ， 
例 11.1 中 的 码 C, PEAS (AOC, AEE OES, hk tl ES 
本 节 中 将 要 提出 和 解雇 的 向 题 是 :给 定 .- 组 包括 r PAE TRO Cn tc) ee 
存在 3 了 上 的 惟一 可 详 码 | ogo, 00,1 | m |a | =n,,i=0.1,---,r-1? 对 这 个 问题 的 回答 
ERE, ZI EHHH 
5 s m 81 (11.1) 
iQ 
这 个 重要 的 不 等 式 称 为 Kraft — McMillan( KM) RS xk, AEE RE 11.1 中 将 证 明 , 如果 不 满足 KM 
不 等 式 ,就 不 存在 这 样 的 惟 - -uf BE, PEE 11,2 中 我 们 将 证 明 相 反 的 结论 BON Rt KM 
不 等 式 , 则 在 仅 存 和 草 惟 一 可 译 码 和 而 且 存 在 异 前 缀 碚 ,其 体 长 为 nyc... IES EH T RA 
个 结论 ,我 们 一 般 很 少 考虑 非 异 前 绷 的 惟一 可 译 码 ; 异 前 缀 码 很 容易 实现 (见习 题 11.3) 4H. 
对 应 一 个 俩 定 的 长 度 集合 ,如 果 存 在 惟 --: 可 译 酮 ,出 必然 存在 异 前 毕 西 。 
定理 11 -1¢MecMillan } +o Fe Ü = |gs D] mae © ae ! E Ss 二 iO. ,5 = [上 的 一 个 惟一 可 
adipsia atei 
TERR it k R — F ERA NOT CRE T, 
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+ 一 | š 下 max 
N = > s” la | ZS yl? 一 y ` Ki 8 
act Í =k-nran 


其 中 nm n HARTE, nn Æ n ORAM m K. x= C 中 长 度 工 的 宇 符 串 g * 6, Fe a, 
的 数目 因为 集会 S$ 有 s PREM Kiss. BERRY R ch n., Bp 


r ] 
y so" ] = Å- mas 
fe 


对 于 所 有 的 kA RE. RRSASARAH KAR, S kon RAE, KAA 
ACI). 

例 11.2 取 s=3 AH A I" = 28/27 , 故 不 存在 长 度 为 (1 ,2,2,2,2,2,3,3,3,3) 的 由 一 可 译 

RIL HESS. 

定理 11.2( kraft) # BN eal REAREA n HANA, 
WEAR :我 们 对 n, 重新 排序 ,使 nangen 定义 整数 w(GoOl-,r-1)A wo = 
Ü, w, = s sv" (3 jalm) 内 为 > 去 上 |, 故 对 于 所 有 的 J. RA Aw, es? - 1 
HR 3. reer 5 是 整数 w 的 进 制 表示 ,并 附加 足够 多 的 0 FA Ë o 的 长 
度 为 n。 我 们 断言 1o4,0,,…,0,.1 | 是 一 个 异 前 组 码 。 因 为 时 于 某 个 j< 上 ,和 如果 0 是 mm 的 
MR TAR ae =| wis | 但 这 与 wf = > T m a AO a al 


1 = 1) 
相互 矛盾 .由 此 定理 得 证 ! 


例 11.3 取 s=3 及 长 度 (1,1,2,2,3,3,4,4,4)- 则 N3 = 上 .按照 定理 11.2 的 编码 方式 ， 
可 以 得 到 表 11.2. 注意 ,如 果 斌 图 将 这 种 方式 应 用 于 二 11.2, 将 得 到 w =27 = 1000, 但 是 
yes 失败 的 原因 仅仅 是 不 存在 长 度 为 3 的 字符 串 可 以 用 来 表示 271 (习题 11.6 和 
习题 ]1.7 介绍 了 定理 11.2 AA *F—#h E B 3k) RAR.) 

表 11.2 定理 11.2 的 一 个 应 用 


J n; W; g; 
Ü) l Ü Ü 

] l l l 

2 2 20 
4 2 了 21 
4 7 24 2) 
5 3 25 221 
fi 4 7R 2220 
F 4 79 2221 
8 4 80 2222 
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11.3 信 产 的 匹配 编码 


现在 我 们 已 经 了 解 了 - HORE a ERIS ISR EA T ERA WO a, ME ee Ei M Eí r 
UG iC a 04. 

ij — 4 28 E (GAT EE 4 =O, - LR OI a, nr i E 2 Be 
P= (pap. U ,Dp,_1) 确 定 , 信 源 p 的 ， 进 制 编码 被 定义 为 4 到 $5 = j0, ss LEEA lag, 
zi t G. 的 一 个 映射 ”这 表示 如 果 希 望 在 输入 符号 集 为 S 的 无 品 信 道上 传输 信 源 p 的 输 
出 ,就 需要 将 信 源 符号 i 映射 为 码 字 a 并 传输 oc,。 假 设 末 用 这 个 策略 传输 名 个 信 源 符号 ,比如 
可 以 是 i ig. i, ,接收 机 将 收 到 字符 溃 g= 0 * a, #7 * o, o 而 旭 采 希望 接收 机 能 够 从 s 
FPS iy in ,就 必须 假定 编码 是 惟一 可 境 古 。 

ti FIR p= {Pos Pa tta ae ans] og a RES KEEN n 三 > p perme: 
ASSES E mE r A, RR A k PPP SET s HAA bn 位 码 
LCR SPAA) 可见 n BRAS LOPS PR. ERE 11.3 
( 宝 际 上 是 几 本 书 第 一 部 分 内 容 得 出 的 ) 给 出 了 nm 的 一 个 令 入 感 兴趣 的 下 界 ,我 们 假定 n, 表示 
C 中 第 i PREFACE. Bll a, = lal. 

定理 11.3 PAA CHR TEA CME Ke Raat ç BEG) OTE I, FP, 


r—|] 
n= HAP) = — 2_ p logs pi 


i=0 
HF AB: 
r-l l r—] 
H,(p)— n = s Pp. log, — 一 5 ` pin, 
i=Ü P, =O) 
Fr 一 上 got 
2. Pi 108s D, 
re | 
= lop, > s7” 
i=} 


最 后 一 步 利用 Jensen 不 等 式 ( 见 附录 B)。 而 根据 定理 L.l. X) sm 1 Bt B. (p) - n=0. 


现在 用 n,(p) 表 示 * 进 制 惟一 可 译 码 可 能 的 最 小 平均 码 长 。 定 理 11.3 表 明 n, (p) = H,(p). 
空 际 上 让 明 过 程 说 明 , 当 几 仅 当 每 个 > 是 * 的 负 整 数 次 宕 时 (习题 11.8),n,(p)= Hp) RAZ. 


这 个 结论 解释 了 11.1 节 讨 沦 的 信 产 ( 广 , 子 ,二 , 专 ) 为 什么 会 有 完美 的 二 进 制 编码 。 当 然 , 通 
常 不 能 期 望 会 如 此 幸运 ,因而 很 自然 想 知 道 x,(p) 的 实际 值 。 精 确 的 计算 留 到 11.4 节 ,但 下 面 


的 人 待 计 是 非常 有 用 的 。 
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定理 11.4 
Ap) = adp < H,(p) + ] 
[ 注 ; 在 此 重 述 定理 11.3 的 下 界 是 考虑 到 论述 的 完整 性 .] 
WEAR: © X n =| logp | =01 r-to Ms tap, t ys =]. B] ARE £ 
理 ]1.2, 存 在 长 度 为 nn U n SRO TED, BAPAKE NT pa ,但 因为 


rh. < log ps + |, Mik SHH < 51 Op (ogpr +]) = H(D) +1, 


例 11.4 Z p=(0.1,0.4,0.5,),s=2, H| H (p)= 1.361, RAL 11.4 的 证 明 ,n, 应 该 等 
于 (4,2,1), 得 出 平均 码 长 为 1.7。 但 是 码 长 (2,2,1) 也 满足 DID 过 1, 因 此 实际 上 
n,(p) 志 1.5。 注意 一 般 情 况 下 达 不 到 定理 11.4 中 的 上 界 ( 见 习题 11.9) ,该 界 的 优点 在 于 
其 通用 性 ,， 正 如 前 面 所 提 和 到 的 ,11.4 节 将 给 出 构造 特定 信 源 最 佳 惟一 可 译 码 的 方法 。 

这 里 我 们 有 个 问题 .一 方面 第 3 章 的 纺 论 上 音 诉 我 们 ,对 街 小 进行 无 失 上 其 编码 ,平均 来 讲 
每 信 源 符号 仅 需 要 H (p) s 进 制 码 无 来 表示 。 另 一 方面 刚刚 叉 看 到 ,对 点 入 的 一 个 惟一 可 
iÉ s 进 制 码 足 不 可 能 达到 这 个 界 的 ,因为 n (PBR RAT H, (p): 

这 个 问题 的 解决 办 法 是 考虑 对 扩展 信 源 op” 进行 编码 , m = 1.2... . 信 源 p" 定义 为 信 源 
字符 集 等 于 4” 的 信 源 (4 SEI op 的 信 源 宇 符 集 ) ,这 里 给 定 信 源 闪 号 (wy ,wy ，…, wi) 的 概 
BA PiU, = Ui = u, = Pu, Pa, U Pu, ° 实际 上 , 当 考 虑 信和 源 p” 时 ,我 们 将 信 源 序列 
t. U... RUS AH 4 im 个 符号 组 成 的 连续 分 组 ,并 将 每 个 这 样 的 分 组 看 做 是 米 目 字符 集 
A" 中 的 单个 符 导 .现在 对 应 p" 的 一 个 平均 码 长 为 mm。 的 惟一 可 译 码 ,将 平均 需要 a, T s 进 
HETTER A” 中 的 一 个 符号 。 而 4 中 的 一 个 符号 代表 原始 信 源 中 的 mw 个 条 号 ,因此 这 个 
f(A nim T s 进 制 码 元 每 信 源 符号 ,就 能 够 万 失真 地 表示 原始 信 源 p. FH E EB BB, 
只 要 m 取 值 足够 大 ,就 能 够 使 无 失真 表示 p 所 需要 的 平均 码 元 数理 想 地 趋 近 于 H.(p). 


. Í m 
定理 11.5 Jim = ñ (p )— Hp) 


ERA : 2 GEA H.,(p")= mH(p)( 9 38 11.12), A ERRE 11.4,mH.(p)= n, p) < 
mH (P)+ 1, 该 式 除 以 m 并 取 极 限 ,就 可 以 得 到 定理 1 上 .5 的 结论 。 


定理 11.5 理论 上 是 成 立 的 ,因为 它 告诉 我 们 采用 (或 许 稍微 多 一 些 ) 有 (Pp) 个 s ik dl oe 
信 源 符号 ,确实 能 够 无 失真 地 表示 信 涉 p。 介 是 因为 它 依赖 于 定理 11.4 的 弱 结 构 , 从 设计 网 骨 度 
来 看 还 遗留 了 一 些 问题 ,在 下 一 节 中 将 对 此 加 以 弥补 ,介绍 一 种 枸 造 信 源 p” 最 佳 码 的 方法 。 


11.4 最 佳 惟一 可 译 码 的 构造 {Huffman Bix) 


根据 定理 11.4, n (PRIF H, (pA H, (p) + 1 之 间 , 这 个 估计 已 经 能 够 满足 某 些 要 求 
(例如 定理 11.5 的 证 明 )。 但 是 对 于 给 定 的 和 p, 我 们 自然 想 知道 n,(p) 的 确切 从 ， 本 节 中 
就 介绍 一 种 由 David Huffman 提出 的 算法 ,该 算法 不 仅 说 明了 如 何 计算 n, Cp). MASS T JA 
-个 平均 码 长 为 n,(p) 的 惟一 可 译 码 ( 实 际 上 是 一 种 异 前 缀 码 ) 的 方法 。 
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在 正式 介绍 Huffman 算法 之 前 , 先 求 解 一 违例 题 。 在 整个 这 一 市 中 者 称 对 应 于 p 的 平均 
但 长 为 二 (B) 的 * 进 制 惟一 可 译 码 为 的 最 佳 编码 : 


例 11.5 i s=4,p=(0.24,0.21,0.17,0.13,0.10,0.07,0.04,0.03,0.01). Huffman 算法 的 第 
-FLARA AERE p RS pp ZMH p 中 取 值 最 小 的 三 全 概 奉 而 得 到 的 。 
因此 元 素 采 用 降序 重新 排列 后 p' = (0.24,0.21,0.17,0.13,0.10,0.08,0.07). AA p's 
然 很 复杂 ,所 以 进一步 合并 p 中 最 小 的 四 个 概率 而 得 到 p' = (0.38,0.24,0.21,0.17). 
图 11.1 给 出 了 化 简 过 程 的 示意 图 。 AHA pA p'SH 3 PRE, HM pH pp" SF 4 
个 概率 ? 原因 将 随 着 算法 的 进一步 介绍 而 给 出 ,这 里 我 们 先 接 党 它 。 


Ë p' p" 


—, 


D.H 024 n 38 
Od 021 024 
0.17 0.17 O21 


G13 013 / O17 
040 0.10 


OOF Os 
Ü 045 fw 
0 3 

oor] 


图 11.] p 的 连续 化 简 


现在 可 以 清楚 地 看 出 应 该 如 何 冤 造 p' 的 一 个 最 佳 码 : 码 (Y= 10,1,2,3| 得 到 n (p) = 1 
从 这 个 简章 的 码 开始 ,现在 可 以 通过 一 种 简章 的 方法 “扩展 " 码 C7, 反 推 并 构造 出 对 频 于 
p$ pi RE CPC, 

首先 构造 p' 的 最 佳 码 ， 注 意 在 从 p' 到 p'éb dr t, Z= 483 (PP 0.24.0.21,0.17) RAR 
变 ， 这 种 情况 下 ,从 CC 到 CC 的 扩展 中 相应 的 码 字 也 不 改变 。 但 是 p PURSE 0.38 扩展 
为 p 中 的 四 个 概率 {0.13,0.10,0.08,0.07)。 此 时 的 规则 是 人 中 对 应 于 0.38 的 码 字 (0) 
扩展 为 C' 中 的 四 个 码 宇 (00,01,02,03)( 见 图 11.2)。 报 据 下 面 的 定理 11.7, 得 到 的 码 是 
po) REA, 

从 Cale 的 构造 过 程 与 上 面 类 似 ; 除 02 外 每 个 码 宇 直接 对 应 p 中 的 一 个 概 牵 , 因 此 相应 
的 码 字 没 有 改变 。 但 是 02 扩展 为 020,021,022( 再 次 见 图 11.2)。 于 是 综 上 所 述 ,C= 11,2, 
3,00.01,03,020.021,022| 是 B 的 一 全 最 住 码 , 且 ni(p)=1: (0.24+0.21+0.17) + 2: 
(0.13+0.10 +0.07) + 3°(0.044+0,.03+0.01) = 1.46. 


3 (12 | 
020 PA 03 
02] 


图 11.2 PP 最 佳 码 的 构造 过 程 { 参 网 图 11.1) 
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前 面 的 例题 介绍 了 一 般 Huftman ARA P eb B] p 连续 化 简 为 p',P' ,等 导 , 自 到 最 
终 的 简化 p ERES ; 个 概率 ， 对 应 pg 的 最 佳 查 显然 就 是 10,1……* - 1 然后 将 此 码 按 
上 述 方法 “扩展 ”, 直 到 获得 p 的 最 住友 .这 种 算法 中 惟一 令 人 费解 的 地 方 是 ,从 p 化 简 到 ph 
所 合并 的 概率 数目 的 计算 、 如 果 用 * 表 小 这 个 数目 , 则 可 以 出 下 面 的 两 个 条 件 惟一 地 调和 定 :; 

s'e d{2, 3 3 (11.2) 
z = yr {mods— 1) (11.3) 
例如 {参见 例 11.5) , 当 s*=4,r=9 时 ,我 们 得 到 ”=3.， 如 果 *=2, 则 对 于 所 有 的 r>2, 4844 
s =2, 轩 此 二 进 制 编码 不 需要 考虑 这 种 复杂 情况 ”， 如 迷 = 3, 则 r 为 偶数 时 o = 2,r 为 奇数 时 
s' =3。 注 意 六 中 概率 的 数目 是 >” =r- ”+1, 因 此 根据 式 (11.3)y ST Imod s - 1), 可 见 经 过 
首次 化 简 后 5 就 总 是 等 于 ; ATE p 化 简 多 少 洪 ,只 言 要 利用 式 (11.22 利 式 (11 3HR- 2K s 

前 而 已 经 介绍 了 Huffman AEs ME — “PE W£ BE F B94F $ JE Ua BH E MJ E, tT 
算法 所 产生 的 p 的 一 全 s FH RARER 8 B EJE K. F BIB E BE 3 X: BR. CRIES 
对 应 p 总 是 存在 …- 个 尿 前 缀 但 ,其 最 后 的 ”个 码 字 等 长 H PERT ma tu A F 
RRIP- 

现在 假设 概率 po ,pi ，… p FEFE: poep e epi BEFRO, ys li 

-p AIRIA BFH oa ove, dR BEREX n = dlg dt,i=0, lyve, rols 

定理 11.6 如 果 rel NAA pH- ARIE s k h| Aa, RA TPM: 

(a) namn i =S Rao 

(b) 最 后 的 [W K (11.2)#a K (11.3)] PERT RA EA ah A t) 45.35) 38 |l , Pp fy 

在 一 个 长 度 为 n ATAF o, AR: 

G, # = G * Ü 


(Jy + =O * l 


Tri — O * (v — 1) 
TEAR: £ ph is, U G. l 3 A K icf 2la,i >a! KK o 和 g KE 
增加 平均 长 度 Y 'p,1a,1。 因 此 存在 p 的 最 佳 s 进 制 码 , 使 性 质 (a) 成 立 在 下 面 的 证 明 


中 ,最 佳 " 码 意 味 着 具有 最 小 平均 码 其 且 满 足 性 质 {a) 的 到. 
现在 p 可 能 存在 几 种 完全 不 同 的 最 佳 码 ( 见 例 11.6). 我 们 在 所 有 这 些 码 中 选择 一 种 ,全 


Sn 尽 可 能 小 。 根据 定理 11,1, 有 ， 

e Ñ ` | ne n — A > Ü (11.4) 
如 果 Ames —1, RÆ ny pects A, Re- 1) 将 满足 KM BAA, AAR ee 11.2, 4 
FAS K RMR HR. pa EL RES p= 0) BARS 


Sia, RF A, NEEM Oc Acs -2, 或 者 等 价 地 ， 
s—AE{2,3,...,5} (11.5) 
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Fm REAP RRS n ,的 码 字 数量 、 如 果 HLH Te 88 26 l — 6 E K s 3, Ep 
删除 它 和 的 最 后 一 位 ,而 不 破坏 并 前 组 条件 ,这 样 再 一 次 产生 淹 唐 。 可 见 ， 
r == 2 (11.6) 
如 果 对 式 (11.4) 进 行 模 * 运算 ,会 得 到 A= - r (mods), FF r = s — A(mod s), 424 
式 (11.5) 和 式 (11.6) 可 以 推出 : 
riokst+(s—-A) a 3RaE k > O (11.7) 
如 果 对 式 (11.4) 进 行 模 s - 1 is K Aia l- r=A(mod s —1), FP s -A=r(med s -1)。 
HARPSFARACLS) TARE s A= s KP s' RAD PALI Æ., Ast 
报 据 式 {]1]1.7) 可 以 推出 res PREV RA PRK. 
下 面 注意 如 果 s =ox&a 是 YY 个 码 长 为 n,_| 的 码 宇 中 的 一 个 ,其 中 0o ARE 2, - 1 
的 字符 囊 ,而 40,1 -5 一 1 ,我 们 就 可 以 用 码 中 不 曾 出 现 过 的 字符 囊 * 0,0 w 1,7, 
srh- D PRABABA ota OKRA, (WAF, 这 不 会 破坏 并 前 组 条 忻 , 却 因 
此 能 获得 一 个 最 佳 码 , 其 码 长 为 nS PAS «0,0 x 1, 2 x (s — 1). RE, te 
果 必 要 可 以 重新 排列 最 长 的 码 字 ,由 此 推断 结论 (b) 上 成 立 。 
在 介绍 重要 结论 之 前 , 送 要 一 个 定 兴 。 如 果 pep eee Ares WW p P) sek 
Huffman 44. 78) XE A: 
| B = (Pos Peara Perci Pre sb sss Ppa) 
Al p' 是 通过 合并 p 中 最 小 的 * 9281483189, FP s 由 式 (11.2) 和 式 (11.3) 确 定 。 下 面 的 
' 定理 说明 了 如 何 利 用 p AS SES Re p WR ES. AW p' 中 的 概率 数目 少 于 Bp, 它 给 出 了 
构造 p 最 住友 的 一 个 递归 过 程 。 
定理 11,7 PE Catt tiyzrl 是 B 的 一 个 最 佳 码 , 则 
| C = {to ..., Tros- T* 0, *1,..., T*(8' — 1)} (11.8) 
是 了 的 一 个 最 佳 码 ， 并 有 ， 
n (p) = n,(p') + Pros t+ + Pre (11.9) 
VERA: AGEA RGL e, Kn on n HREOC PRFHKA, BX pono t+ 
: Bee Meg tpn pR P papi. tt p10 WRC ADP 的 一 个 码 , 它 的 平均 长 度 为 
n,(p')+ p; Ast, 
n (p) = n.(p )+ p (11.10) 
为 了 证 明 反 向 不 等 式 , 设 |az,ol ,6 是 目的 一 个 满足 定理 11.6 F(a) Fbir E 
l 码 . SÜ logd ia 对 应 是 ,具有 平均 长 度 nip) -p 


s ae wl draa = — = —' —-x 


n (p') = n.(p) — p (11.11) 
KX (11.10) FX (11.11), 36432] K (11.9), BRBACLL EROS CARERE 
的 , 它 的 平均 码 长 为 n (p')+p=n,(p). 


下 如 我 们 所 希望 的 ,定理 11.7 给 出 了 构造 任意 信 源 p= (poop. p- BRE s EA 


š 
1 
i 
; 
i 
: 





uor Ta lec hulat ee a LF eh ie mre ht Lege pas 


TT ee ed re ee T 
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Si P BIR: MAHAA au r<s,f$i0,1,--,7- ict p HARES, A n, (p) = 
BUR r> 5, 则 假设 可 以 用 少 于 r CA SARS RES. BE p 化 简 为 p', 即 一 
个 包含 r+- :个 行 导 的 信和 源 , 并 构造 p' 的 最 佳 码 , 然 后 再 利用 定理 11.7 提供 的 方法 将 其 扩展 为 
p 的 最 佳 码 。 划 有 将 面 上 所 所 到 的 ,这 个 算法 的 一 个 方便 之 处 是 , 仅 需 要 在 第 一 次 pop aA I 
算 的 数值 ;而 在 后 续 的 所 有 化 简 中 该 值 都 等 于 s。 穿 易 证 明 , 信 源 化 简 所 需要 的 总 次 数 是 
ir- ss- 1) |; 经 过 这 么 多 次 化 简 后 , 信 源 仪 包含 < 个 符 轩 ,而 10,1,…,s -1 将 是 它 的 -- 
“+ Bee es ( BL2J AM 11.15). 


例 11.6 s2, r4 paG gig lo SRE KAN AZZ.) BAK 








HS.) OREM PREM. FRM RM T Huffman 算法 的 构造 过 程 
P p p“ 
ko ~ 一- — — — = (0 ae $1) 
5 (10) we — }{ "| a (D) 


taio) 加 eID 
Fay 


wpAR Fea +F t) 2 eee: 





p p' p” 
S00 pe De es 30) 
y(01 —— e y0) 
kao A To SOD 
FI 7 


因而 (二 ,二 ,小 ,十 ) 2, 尽管 p' 的 不 同 排序 得 出 了 pp 的 两 种 完全 不 同 的 最 佳 异 前 缓 码 
(见习 题 11.21), (2: BEER Cp) = 1.92 比特 ,| 
141.7 i 5=2,r=2,p-(0.9,0.1), 这 里 H,(p) = 0.469, % Huffman 算法 给 出 了 以 下 数 


值 : 
n2(p) — 1.00 
Im(p") = 0.645 
ns(p ) = 0.533 
lp (pl) = 0.493 


[这些 计 算 可 以 由 读者 验证 ;见习 题 11.19,) 这 里 需要 指出 的 一 点 是 ,mn,(p" ) 一 般 可 以 
非常 快速 地 收 喜 于 五 (p)( 见 定理 11.5, 也 见习 题 11.20). 
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HE ay RAG Ape MOP a n w r. aye eo Cc Ala AVEC SS ERE k = 
Hr = 8 (HH i= 1.2. k) MHS C BME En, WAH hE SP ac F 
给 出 的 定 浆 ， 

WISER CPB ht -ARH T shoe aR HE a, SY 281 ,我 们 号 称 惟一 可 去 拘 
CHa. SERS o BEC PISS 1G TT PRA INF OAS ATE ; xf C WG 
TER TIE. GI C= ioga oa a i LSP = PARE ee : 

(a) C RE. 

Ch) 对 C TET ATE LE Su PER: EB 

lek yt et 

HE SERIAIS C WIR AEE ARAR, TAS C A- TA RUR i; RE CTA 
HIA 428 ER op RA E OCI T. 

ENH Fe BW SR AAR NR. EE :对 惟 RPA R E TMD eR ek - 
订 PRY? 

AAS BREE S=10,1,2,3 LET EKEJI- -uR AP, k, Amig 
EJE H i RETH: 











Å; 
imi WO has — 情况 4 
] a 2 1 有 
2 4 7 7 了 
3 4 3 4 
4 K: 4 T Il 
` q Š 4 3 
É 全 $ Ú i 


针对 这 站 种 情况 ,分 别 构造 惟一 可 译 础 或 解释 为 什么 该 但 不 生化 : 

WE orir he =, six ote py w iw pr AP LES FLi<j, RRR S = 

04s 一 上 上 学 符 囊 go 的 宁 符 排序 小 于 休 符 束 r{ 写 做 o<-r). 试 说 明子 行 排序 是 
ANTE WIRE :对 (ayr), 这 里 5 天 Fr, 必 有 < r BX T < o. 

GE B EEA 11.2 中 构造 方法 的 另 一 种 去 述 :选择 m = 00…0, 其 长 讼 为 .并 选择 

z 的 撞 绿 不 在 集 介 ;o0,61.… ,60 ! 中 旦 是 长 度 为 nT AA Te 

这 种 方法 构造 的 但 与 定理 11.2 所 给 出 的 三 相同- 

i eA z (p) = Cp) HIM rf EBR mtn, 1) 满 足 p =s 0 1,*… 

r-l., 

bee s MEIE ixan (p) -五 (p) 对 于 某 些 Bi 密 集 分 布 在 10,1j 区 间 。 也 职 

Bid MEER C [0,1] 和 6 >0, 证 朋 丰 在 一 个 pic ln (p)- A, (p)-tl <. 





第 11 章 KKH aa | 255 


11.10 本 总 介绍 的 变 长 编 磺 方 式 并 不 适用 于 图 5.1 由 的 模型 ,该 模型 将 周 定 数 口 为 天 的 依 源 


11. 


11. 
11. 
11. 
14. 


11. 


11 


.17 


CERS Bl Sa lJ n BSI BW A TFS. KJE HH A E PE ASK. S Ann] HE 
Beant EYE p= Ipo p enp SRS AE S TS B Re GM pa U t BZ G 
ant, Hia A PORE PERE OS = 10.1, s - 11 RP ASA Bb oe ih 
人 Er: 
Ruk ff 48 Fl — PAP EM OA n (pp Ee TE s a CFR n Ak EE 
LBP BAAS k FIS Godino U. RRA S En PPP SHS. Pr 
Fo Pe SRA C PARLIN ASS, AUTRA oo 作为 5 上 的 一 个 
FIR, o 的 长 度 是 -~ 个 随机 变量 ,但 我 们 对 o WA PIER, EERIK EY no WE o 
Wi Hil». BRIG loin SFG RR o 的 长 度 小 于 ,就 在 最 语 加 上 
n -Jal 个 0 采用 这 种 方法 将 每 组 个 信和 源 符 号 映射 为 一 组 5 个 信道 输入 符号 ,并 用 
a” he aS 
a DET BEE WS of A TH o HE; -H RJB LDAA H store * TR 
FIE, Helo, BESS TL RAPA THAR RA POS A. Rizk, 
译 码 器 就 能 够 正确 地 按 收 所 有 k 个 信 小 符号 ， 查 是 如 果 L< k, RAS HT SA 
DSB BD eee ASU p. B Pp, 志 示 下 个 信 源 符号 分 组 中 至 少 有 一 个 符 
ee site iF e > 0 Ef EM. 

3 说明 对 于 任意 5 > a (p). FETE -全 和 上 而 所 述 的 分 类 方法 ,满足 nker B P r< e, 
EAI 和 定理 11.5 ASSIS AA ERE r< H. (p) 和 >0, 存 在 一 个 如 
图 5 INPE DEAA. 满足 kine AIP Leu <e- 

T U=(U Ee 1: 一 个 随机 矢量 , H. a. (U)= n (p), JEP p JE URIBE: 现在 

Wize’) T, oe nis Markov BEC UL 23H 1.20) WEH lim. (Uk yn CL, OD 

SF PRY s DEAR 

证 明 H Cp") = mH (p) WEH 11.5). 

定义 nl ™ (pk p A - s 进 制 异 前 织 码 的 最 小 平均 码 长 。 证 明 nh" Cp) = n, (p). 

on Bae AY r>2, EE 11.6 是否 仍 然 成 立 ? 

an res p= (pap U p eee Cr- ss- 1) RK š 进 制 化 简 后 ,恰好 
l= * PAS EPRE- 

在 全 | J p AJS — IR Huffman 化 简 中 ,人 台 并 符号 的 数目 可 能 少 于 5, 为 避免 这 种 情 犯 的 出 

现 , 通 常 采 取 的 一 种 措施 是 ,在 信 源 字符 表 中 额外 增加 * eE" FS, Bh ss F+; 

出 更 的 概率 为 0 这样 吉 以 保证 每 次 化 和 莘 , 甚 至 包括 第 一 次 ,者 怡 好 合并 * TR. 

[例如 ,在 例 11.5 is - 8 = 1, Aine A p= (0.24,0.21,0.17,0,13,0.10.0.07, 

0.04.,0.03,0.01,0.00).] 如 果 想 利用 这 种 技巧 证 明 Huffman 构造 过 程 , 就 会 出 或 一 个 问 

题 :对 fp,0,…,0) 而 训 的 最 停 码 ,对 于 了 本 身 或 许 并 不 是 最 佳 码 1 试 给 出 一 个 相应 的 

例证 . 

对 于 给 定 的 s, WANDA Huffman BIE SIR p= (pa pi. Pe RIE s 进 制 码 的 计算 
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BAO). DOP REF s 的 ? 

11.18《【 续 ) 现 在 假设 仅 对 na,tp) 的 数值 感 兴趣 ,而 不 需要 寻找 最 佳 码 。 试 利用 式 (11.9}) 设 计 
- -个 计算 n. fp) 的 算法 ,使 其 运算 次 数 为 00 r). 

11.19 验证 例 11.7 中 的 计算 结果 。 

11.20 根据 定理 11.5, 回 答 下 面 的 问题 : 


(a) n,(p) <> n (PERR? 
(b) En, (P) < n (PETRE? 

11.21 我 们 注意 到 在 例 11.6 中 p= (T goto RAMAR AE ER, 4} BH 100, 
01,10.111 和 10,10,110,111i。 试 证 明 满 足 p, > p; > pa > pa LAA AA TRIE 
全 部 概率 失 量 (p pr ps p FIRE Ee EB, HRERS 
个 矢量 。 

11.22 考 感 -一 个 “二 十 个 问题 "的 游戏 ,要 求 你 在 询问 一 定数 量 的 等 案 为 “是 "或 “ 否 "的 问题 
后 ,猜测 . -对 仍 子 抛 出 的 结果 。( 结 果 是 整数 2,3,… ,12 中 的 某 一 个 ,) 平 均 来 讲 ,你 最 
少 需 要 问 多 少 次 问题 ,， [提示 ;如果 你 间 “ 是 香 为 2", “是 否 为 3" 等 ,所 问 问题 的 次 数 平 
EJE URW F 6。 但 是 有 可 能 做 得 更 好 。] 

11.23 本 题 此 在 让 你 学 会 如 何 设计 一 个 上 进 制 对 称 信 源 p. = (lr,1fr,… ,1f7) 的 最 佳 二 进 制 
PBO ATS 
(a) 构造 P: +P; > Py. Ps 的 此 类 编码 。 
(b) 一 般 来 讲 ,p, 的 一 个 最 佳 二 进 制 异 前 缀 码 的 码 字 长 度 可 能 是 多 少 ? 
(e) 请 给 出 mip ) 的 通用 计算 公式 . 


注释 


[1] 在 信息 论 的 教科 书 中 ,本 章 的 有 关内 容 一 般 很 少 出 现 得 这 么 晚 ,因为 这 些 内 容 并 个 
是 特别 深奥 ,也 确实 不 依赖 于 此 前 介绍 的 任何 内 容 。 但 是 我 们 选 样 将 它 放 在 这 里 ， 
基因 为 它 介 绍 了 信 渐 编码 问题 的 一 种 设计 方法 ,下 如 第 7 章 至 第 10 章 的 内 容 介绍 
了 信道 编码 问题 的 一 种 设计 方法 。 

[2] 尽管 这 部 分 内 容 对 手 本 章 的 理解 不 是 必需 的 ,但 我 们 还 是 将 问题 用 第 3 SW i 1 
行 表 述 。 现 在 正在 讨论 的 是 一 个 对 应 汉 明 失真 测度 的 离散 无 记忆 信 源 ,好 和 信 温 和信 
宿 的 字符 集 都 等 于 10,1,…,s -1| ,而 失真 测度 为 ， 

duvi] atu po 
这 里 只 对 淮 失 真 的 情况 感 兴趣 , 即 希 望 在 信 窒 能够 正确 地 复制 信 源 {( 技 术 上 人 允许 销 
误 概 率 取 一 个 很 小 的 。 值 )。 因 为 此 时 对 应 所 期 望 失真 度 (3 = 0) BK RAR 
R(tH) ,就 等 于 信和 源 的 炉 太 ,(p) (参见 图 3.3)}。 根 据 信 源 编码 定理 3.4( 非 构 凌 性 的 ) 
得 出 结论 ,每 个 信 源 符号 仅 用 H,(p) 比 特 表 示 , 就 可 以 证 信和 宿 光 失真 地 恢复 信 源 。 





[4 
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注意 这 种 编 但 不 同 于 第 了 音 至 第 9 章 的 分 组 人 ,以 及 第 上 0 ENERE. IH E M. T< 
种 意义 上 来 讲 , 变 长 码 可 以 转换 为 分 组 码 ( 见 习题 11.10). 

TE s HARRA, 进 制 码 树 之 间 存 在 一 种 一 一 对 应 关系 ,这 在 大 多 数 教科 书 中 
都 会 重点 强调 ,我 们 这 里 只 简单 担 一 下 . 为 了 说 明 这 个 概念 ,考虑 异 前 弘 个 10,10， 
110,111 1 。 相 应 的 二 进 制 树 描述 如 下 : 


通常 每 个 码 字 代表 树 上 的 一 片 “ 叶 子 ”, 码 宁 的 比特 图 案 描 述 了 从 根 到 叶子 的 惟 … 足 
径 一 -向 左 的 和 分支 用 一 个 “0 表示 ,向 右 的 分 支 用 一 个 “二 表示。 更 详细 的 内 容 参 见 
Knuth! 7], 4 1,2.3 Wo 

实际 上 .证明 二 进 制 条 件 下 Huffiman 算法 的 有 将 性 相对 简单 。 大 多 数 的 教科 书 ( 例 
如 Abramson[ 12] ,Gailager[ 17]) 仅 证 明了 s = 2 的 情况 ,而 将 一 般 情 况 下 的 证 明 ( 蝎 为 
重要 ) 留 做 习题 (也 见 习题 11.16). 





a x na 


ra 
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本 冯 在 第 二 部 分 中 有 的 必用 等 同 于 第 6 间 在 第 一 部 分 中 的 作用 , 世 殊 直 说 , 尼 娄 述 了 编 公理 
沦 中 的 一 些 重要 铅 论 ,而 这 些 结论 在 第 ?7 章 至 第 11 章 葛 介绍 中 并 未 涉及 ， 在 12.2 节 .12.3 节 
和 12.4 节 里 ,我 们 将 论述 信道 编 怡 (分 组 码 、 卷 积 币 以 及 两 者 的 比较 )。 最 后 在 12.5 节 里 ,将 
讨论 信和 源 编 础 . 


12.2 分 组 码 


分 组 码 理论 的 发 展 历史 要 长 于 卷 积 体 理论 ,其 内 容 世 相对 丰 语 ,因此 本 节 的 篇 幅 比 12.3 1 
长 得 多 。( 但 是 这 种 不 平衡 并 没有 影响 到 实际 应 用 领域 ;参见 12.4 节 ,) 出 于 结构 上 的 考虑 ,我 
们 根据 Berlekamp 在 文献 1 15] 中 列举 的 编码 理论 二 大 主要 问题 ,对 本 节 将 要 介绍 的 内 容 进 行 分 
类 ， 

1. 最 佳 个 的 性 能 如 何 ” 

2, 怎样 才能 设计 出 好 码 ” 

3 如 箱 对 这 些 好 码 进 行 详 代 7? 

o 最 佳 码 的 性 能 如 何 ? 在 编 妈 理论 的 发 展 过 程 中 ,最 早 提 出 来 的 … 个 问题 是 寻找 完备 码 . 
我 们 可 以 将 有 限 域 fF， 上 -一 个 码 长 为 n 的 码 看 做 失 量 空间 (FF) 的 一 个 于 集 { Xa» 
对 于 其 个 整数 e ,如果 坏 绕 这 M PSEA e 的 汉 明 球体 ,无 从 秋 好 填 满 了 整个 V.( F.) 
2s lei] ,就 称 这 个 码 是 完备 的 (或 者 密 合 填充 的 )- 到 1950 年 为 止 ,科学 家 们 已 经 发 现 了 几 种 完 
备 孙 : 


ri g ë it 
Ze +! 2 (ER) WD 7.18 
fg” Dg- (HO EBAY A Fe) | 视 明 码 ; 册 7.4 节 ,习题 7.19 
3 3 3 一 进 刺 Gola, F3; W 9.8 T 
11 3 ? _ DEG) Golay 83; W.S) RB 9.30 ~ J E 9.33 


完备 码 { 也 计 不 应 该 包括 重复 码 ) 是 具有 强大 纠 错 功 能 的 完美 组 会 磺 , 因 此 研究 者 们 自然 
EMER SMES ALM RE. ARAKI ost. AMZ) 20 世纪 
70 年 代 早 期 首发 现 了 这 样 一 个 事实 :除了 有 具有 上 表 所 列 参 数 的 码 以 外 ,不 存在 其 他 的 完备 码 
T. 有关 这 段 历 程 的 完整 记录 ,读者 可 以 参阅 MacWilliams 和 Sloane[ 19] 的 第 6 章 。 确 实 存在 
某 些 完备 码 , 与 汉 明 码 的 参 景 相同 却 艾 不 等 同 于 汉 明 码 ; 但 是 其 他 三 类 码 都 是 独 一 计 二 的 。 那 


La roth 
3 r A A M4 ad ' 5 A 
i `Ë I a K r 
a oF : Il , avr oF 5 


=> ee ALFF a s — oe 
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Z.`i q PARAGE EGE 9 个 元 素 的 字符 集 上 是 责 存 在 完备 码 呢 ? ES AHI MT 
这 个 问题 还 没有 确切 的 答案 .。 (RUT h: d fr tik E 0985. 

认 计 到 并 不 存在 其 他 的 完备 码 后 ,失望 的 研究 者 们 于 始 将 他 们 搜索 的 范围 扩大 到 性 能 与 
完备 侍 接 近 的 倘 类 ;近似 完备 码 讶 珀 身 填充 码 ， 在 有 限 战 上 ,月 前 已 经 完成 了 对 6e 宇 4 的 及 有 
这 类 码 的 分 类 ;但 是 对 je 志 3. 只 得 证 了 部 分 结果 ;一 见 Van Tilborg: 46]. 

(23.12)(olay ARH EURIA EEA, OV CFL) LARRE, EO H.2 lal 892 
WY RR 二 7,. 则 可 选 矢 量 的 最 大 数 日 恰好 等 于 4096 = 2° 人 人们 自然 想 问 , 当 用 n 来 代 符 23, 用 4 
来 代 在 7 了 时 ,这 个 最 大 数 日 应 该 是 和 多少。 因此 我 们 定 x: 

4(n,98)= 展 大 整数 M AEI VCP fde M OTS 
1X, Xy dt ,Xd , * i> JJ 
或 (12.1) 
Afan, d) =fS KA n RP RA d oa Be & ABE Bl EAE 

WEY Aln, ORRUA EE BO Re, AST ACh, d BJP Ra EL T BE 
R BEE n Ald BIRRE RA de nn) MEAT OBR ACh DME F RR RK 
FMA THE. HE FRM SB ax ER. AMAMEA TUS 
[2] MacWilliams MI Sloane 191 的 第 17 音 ,其 中 详细 介绍 了 这 段 历史 ， 

W n 和 4 HRA RE sg TREE ON AC de M BJ RAE :已 知 方法 ,是 直接 列 出 
VC FP) 空间 上 上 满 是 条 件 (12.1) 式 的 并 个 失 量 。 我 们 将 在 下 面 讨论 这 种 构造 方 法 。 

HiT BRIBE a ACn d) < MADE, RE OV, CF, SE T 3 
by tt x EB PRAM ETE dy (x x )< 4, 为 此 有 很 多 种 可 行 的 方法 ,但是 目前 最 
有 效 的 方法 开 然 是 线性 次 计 法 ,现在 就 来 介绍 它 . 

如 果 Cs ix oxy | Ab PABA #5 的 二 进 刺 合 Bde PC) 空间 的 一 个 子 集 ], 则 对 于 
[ffe ; = 0.1. n ME C. A (x) CCPH x AERA i HFR 定义 的 距离 分 布 
为 由 卡 负 实数 组 成 的 {i+ 自重 (44,4.… ,4,) 序 列 , 共 中 ， 


] 
A; = 2 A (x) 
可 以 立即 得 出 4 Bye FEM: 
Ag -HH Ay bee + A, = M (12.2) 
Ag = (12.3) 


如 果 该 码 的 最 小 距离 为 d, 则 可 以 得 到 | 
Ay = Ap = = Ag) = 0 (12.4) 


线性 设计 法 的 关键 是 Delsarte — MacWilliams( DM) 45 ER: UMR P (i) as BIA - z il+ 
z)" "中 zz 项 的 系数 ,网 4 必然 满足 ; 


> APDz0 j=0,1,.,n (12.5) 
i—(} 


(此 结论 的 证 明 , 请 参见 习题 7.28. X35251 WERT TAN PR. Ú Ap (ng) 表 示 由 (n+]) 


加 
ti — ee L Pos I A h DHH 


- ` - ' 
- 
k I= l= č =, y Pa es ee 


BE 
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个 非 负 实数 组 成 的 函数 有，… A, = Aot + 本 的 最 大 可 能 取 值 ,其 中 这 些 实数 满足 线性 


约束 条 件 式 (12.3) ~- 式 (12.5)。 则 显然 A(n,d) <Ap(n,d); AIE Apin, ORAR Hitit R 
(LP). 

BR FL tnd) Ate, dRAZMW EAA FARA Rt ARE BIE 
而 得 出 的 。 例 如 ,通过 联 立 DM 不 等 式 (]2.5) 和 特殊 不 等 式 A, + 44, < 近 4( 这 很 容易 由 联 立 方 
程 推出 ) ,可 以 求 出 A(13,6) 的 上 界 为 AC13,6) <32. 在 发 现 TP 方 法 之 前 的 相当 长 一 段 时 加 
内 ,4(13,6) 是 尚未 知道 取 值 的 最 简单 An, d). 研究 者 们 试图 利用 非常 繁 项 的 联 立 方程 去 求 
解 ,但 是 他 们 所 能 得 到 的 最 好 销 果 也 仅仅 是 和 和 4041 6) 过 33。 当 然 ,根据 蛛 来 已 知 的 下 匣 
(CHAE AAD 2 =13.d=610 M = 32 89 Nadler (S74 h BAC PIRSA FA aa Ee 
答案 :4(13,6) = 32. 

也 许 在 有 关 Ain, dB, 8 2 BJ — PRE at FR: GOR dP EP BR 
F) WE dined MO d <1, MAY nro}, 4A(n，d,) 将 如 何 变 化 ”更 正规 的 表述 是 ,由 
Fee FD KOON n、 码 字数 为 M 的 码 的 速率 为 ]inlog MBE: 


二 =l 

R(ó) = sup lim > log; A(n, dn) (12.6) 
l 

R(6) = inf lim ~ log A(n, dy) (12.7) 


这 里 式 f12.6) 中 的 “sup" 及 式 (12.7) 中 的 "inf 都 是 对 所 有 满足 由 ja 一 3 AY APS Cd, 7. Bee. 
在 这 种 定义 片 式 中 ,比较 麻烦 的 是 需要 同时 定义 R(6) 的 上 界 值 和 下 界 值 ;前 然 人 人们 者 相信 
(但 却 没 有 人 证 明 过 ) 对 于 所 有 的 8 值 , 均 有 RCO) = R(8)。 因 此 ,为 了 简化 下 面 的 讨论 ,我 们 


KEE RCS) ,并 认为 其 上 界 就 是 R(5) 的 上 界 ,其 下 界 就 是 RC6) 的 下 界 。 
已 知 { 也 很 容易 证 明 )R(0) = 1 ,并 且 对 于 asgl, A R(8) =0, HÆ 0< 8 <12}, 
R68) 的 值 尚未 确定 .在 这 个 区 间 内 ,日 前 已 知 的 ROO) ET AA: 
Rid) > 1 — Td) (12.8) 
这 个 结论 是 由 Gilbert 在 1952 年 证 明 的 。( 此 下 界 也 是 习题 7.21 Bree BR — Bh W R J 
式 ,) 没 有 人 能 够 进一步 提高 Gilbert 下 界 ,但 R(5) 的 上 界 却 在 逐渐 降低 。 目 前 已 知 的 最 佳 上 
界 , 是 由 McEliece, Rodemich, Rumsey 和 Welch 利用 线性 设计 法 得 到 的 ， 为 : 


Ró) < min {1 + glu’) — glu? + 2óu + 26)} (12.9) 


其 中 g(x) = H.[(1—- Z1- r)/21, 图 12.1 曾 出 了 这 两 个 界 的 曲线 。 人 大 们 普 过 猜测 RCO) = 
|- H (8) ,但 是 支持 这 个 论断 的 惟 -真实 证 据 , 仅 仪 是 多 年 来 上 界 不 断 被 降低 ,而 下 界 却 一 直 
保持 不 变 的 事实 ! 

e 怎样 才能 设计 出 好 码 ? 在 前 面 的 内 容 毕 ,我们 已 经 讨论 了 编码 理论 中 的 一 些 重 归 绽 论 ， 
但 都 没有 涉及 到 如 何 构造 好 码 的 问题 。 为 此 人 们 做 了 大 量 的 研究 工作 ;尽管 目前 还 没有 人 能 
够 构造 出 达到 信道 编 砂 奋 沦 预计 效果 的 公 , 但 十 已 经 取得 了 --… 些 值得 注意 的 结果 。 

迄今 为 止 ,已 经 发 现 的 最 重要 一 类 码 , 就 是 第 9 章 中 介绍 的 BCH 码 。BCH 码 之 所 以 重要 ， 














第 12 章 BAB A BRM BE 261 


不 仅 内 为 它们 本 身 性 能 优越 .还 因为 它们 具有 一 种 简单 有 效 的 译 码 算法 。 然 而 对 于 我 们 即将 
介绍 的 大 多 数 合 而 言 ,并 没有 找到 它们 的 一 种 比较 有 效 的 译 码 算法 。 在 下 面 的 章节 里 ,将 针对 
译 码 算法 的 设计 介绍 一 些 研究 成 果 - 





图 12.1 Hane ay R(5) 上 下 界 的 最 佳 结果 


在 有 闫 编码 理论 的 构造 性 研究 中 ,最 重要 的 成 果 可 能 就 是 关于 循环 码 的 。F, .上 的 一 个 
(n ,有 线性 码 C 在 满足 下 列 条 件 时 称 为 循环 码 ; 只 要 c= (corer ea TR C, 那 么 它 的 
循环 移 位 e = (ca al ca C ,cz) 也 属于 码 C。 当 nz3 时 ,无 沦 Y 取 什 么 值 ,至 少 存在 四 种 
到 长 为 n WMR: 

e 只 包含 一 个 全 0 码 字 0={0,0,0,…,0)。 

e 常数 但 字 a = (a,a,…,a) 的 集合 。 

e 满足 e = 0 的 码 字 。 


o 整个 空间 VCF, )o 


LX PPPS ER IE O,].n-1 Al n. 对 于 某 些 {g ,2a) 的 取 值 (例如 ,4 =2,n= 1l; 
g=3,n=7) ET XPS AER RE. (ERI F , FEIS 
非常 有 趣 的 循环 码 。 例 如 第 9 章 中 介绍 的 BCH IB, RS 码 , 以 及 两 种 Golay SAR TAD 
在 这 部 分 内 容 里 ,将 介绍 其 他 几 种 循环 码 , 但 是 首先 需要 做 一 个 简略 的 初步 介绍 。 

对 应 上 的 任意 一 个 (n, 上 ) 循 环 码 ,都 存在 一 个 生成 多 项 式 g(x), 其 系数 在 F, ERE, 
次 数 为 于 -大 ,并 且 能 够 整除 x" - 1]。 当 且 仅 当 多 项 式 ce + ox + ter 是 g(x) 的 偿 式 时 ， 
KB e=leg ,co_1)EV(F,) 属 于 该 特 坏 码 。g(x) 的 互补 湖 项 式 h(x)= hx" - Eig (x) RA 
一 致 校 验 多 项 式 ， 因 为 g{x) 能 整除 x" -1; 所 以 g(x) 的 每 个 零点 同时 也 是 x" -1 EA. W 
Bon Ae 是 互 质 的 {不 满足 此 条 件 的 循环 码 通 常 没有 研究 价值 ),x" - 1 的 零点 就 是 ,1,8，… 
go} Fp 8 E F. 上 的 rn 阶 本 原单 位 根 ;这 样 g(x) 的 零点 具有 1B":a€ 41 形 式 ,其 中 AC 
10,1,…,n -1|。 由 于 g(x) 的 系数 在 fF 上 取 值 ,于 是 根据 贫 罗 瓦 (Galois) 定 理 , 4 一 怎 是 9 级 


» oe tbh 上 z "i L 
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封闭 的 ,出 就 是 说 ,如 果 a CARAT gamd n) C 4. WETAH 4C101，…,m —- 11 Ë 
们 定义 它 的 qg B 3 3E À 为 包含 4 的 最 小 9 级 封闭 子 集 。 利 用 这 个 定义 .可 以 将 大工 任 - 
Cn ,和 乱 环 码 的 生成 多 项 式 和 一 致 校 验 多 项 式 分 解 为 ; 

gi) = | - 6) 


acd 
hx) = |e- 
be B 
循环 码 的 所 有 重要 结论 基本 土 都 可 以 用 集合 A a B F BREAK. PMI. BCH 码 的 定理 9.3 
可 以 表述 如 下 :如 果 m=2 -1,g=2.0 A= 11.3... 24 - 1) DR d u WSA d. > 
Ze+ 1 MERIR PAn A E Sh Mei) BRRR (FAHRE ¢ =2, 847 g RE 
大 值 时 的 结论 通常 是 已 知 的 ): 
和 如果 站 =2 -t hj B= 11,3,…,21 一 1 WA dus 22771 -127 参见 Van Lint 
[18], EE 6.3.6). 
8 如 果 n 是 一 个 等 于 - 1 (mod 4) 的 素数 ,而 4 = | UR mod 2) = (n + 1/2, B. 


Jn . H = [I (mod 8} 
dmin = ] v4 —3 
— . n= —1 (mod 8) 


这 种 码 称 为 二 次 剩余 码 ; 参 见 Mac Williams 和 Sloane| 19 | ,第 16 Es. 
e 如 上 果 不 存在 j ESI bb... b € B WE b, + + b; =0(medn), M TS FH 
才能 够 被 2 整除 。( 本 书 9.8 节 的 引 埋 5, 是 此 定理 在 j=2 的 特殊 情况 下 的 一 种 至 换 形 
式 。 有关 它 的 证 明和 进一步 推广 ,请 参见 Delsarte Al McEliece 34,。) 
em B= 11) JZ AK Te AWARE AERA | RAR 
循环 三 ( 因 为 它们 不 再 包含 任何 非 平 凡 循环 子 码 )。 有 关 它 们 的 详细 理论 .请 参见 Mac- 
Williams 和 Sloanc[ 191 第 8 章 , 或 者 MeEliere| 39]. 
e E r=?" -1 及 =i0<5<2 -15 可 以 表示 为 2 的 过 也 次 寡 的 和 | , 则 这 个 码 与 习题 7.30 
介绍 的 Reed-Muller 4 RM( m , d) AN Sit EERE 参见 MacWilliams 和 Sloane[ 19 | 第 13 
2 ,或 者 Delsane Mi McEliece[ 34] 53 5 7. 
通过 前 面 的 例子 Fe r BIA KE ER ERM MEAS TARR, 
PUBS ARB BARE RE. BAI, ORB n.d) E n] 
能 并 不 存在 一 个 包含 An, PGT NEA SWE Y (12.1 KR), PEE REDER 一 
裔 不 是 线性 的 ,因此 人 大 们 研究 的 焦点 又 转移 到 寻找 非 线 性 最 佳 码 上 上 。 下 边 的 内 容 是 这 上 方面 取 
得 的 一 些 成 果 ( 同 样 ,对 所 有 人 的 都 假设 9 = 2): 
名 02 的 最 佳 码 都 不 是 组 性 的 ,并 且 与 Hadamard 矩阵 相关 联 。 参 网 MacWilliams 和 
Sloane[ 19] ,第 2 章 . 


e Kerdock 非 线性 码 的 参数 为 ,m = 2r , 码 字数 M =2" ,dw =2" 2°? ma, RM 
单 的 例子 Lm =2) 是 码 长 为 16、 含 256 个 码 字 、dw = 6 BY Kerdock #9. Mi n = 16. d = 6 BJ 


wu == 

- = 中 
人 
' 
=- 
dal 
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RIETER CA S 128 MBF. 参见 MacWilliams 和 Sjoane[ 191,38 15 Æ. 


@ Preparata PoE at Aon = 2" M = 2" —" da = 6. mel, 它们 是 Kerdock B J XH; 
3 ll MacWiliams 和 Sloanel 19... 25 15 章 。 


最 后 我 们 注意 到 , 讲 Mac Williams 和 Sloane| 191 附 录 À 的 一 个 表格 中 ,作者 列 出 了 da2, n512 
的 所 有 已 基 最 佳 倍 。 其 中 很 黎 友 的 构造 方法 非常 巧妙 ,这 里 瑟 不 -一 一 壮 述 了 

e 如 何 对 这 些 好 码 进 行 译 码 ? 对 于 确定 的 和 dd, 寻找 共 最 大 可 能 码 是 一 项 重 刻 而 艰巨 
的 皇 务 .但 是 .为 了 将 这 样 一 个 码 (当然 也 林 以 是 任意 码 ) 实 际 应 用 于 有 噪声 的 信道 ,必须 寻找 
一 种 实用 的 过 码 算法 .如果 所 用 的 码 字 数 晶 相对 较 少 ,可 以 将 它们 与 接收 字 一 -一 进行 比较 , 译 人 码 
TOR RIE. GOR RR Pn AREAS, H 2" “相对 较 小 ,也 可 以 运用 在 7.2 节 利 了 .5 W 
介绍 的 伴随 式 形 译 码 方法 , 诺 码 四 样 不 成 问题 。 但 是 在 人 多 数 实际 应 用 中 ,不 会 采用 这 种 小 型 
码 , 这 就 导致 两 种 基本 的 译 码 算 法 失 皮 了 使 用 价值 。 于 是 ,人 人 们 耗费 了 太 量 精力 去 寻找 术 型 码 
的 有 效 译 但 算 波 ,， 在 以 下 的 内 容 里 ,就 将 介绍 其 中 的 一 些 算法 - 

首先 介绍 的 是 一 种 最 重要 的 谋 码 算法 , 即 第 9 章 中 详细 介绍 过 的 BCH-RS 详 码 算法 。 为 
SHEARER ATH PR RMS Ç 

在 1959 年 至 1960 *F IF], Hocquenghem (参见 文献 [151,72 ~ 74 W), LA Bose 和 Ray- 
Chaudhuri ( 4 M XAR. 15] ,75 - 78 m ) 在 他 们 发 表 的 论文 中 ,首次 提 到 BCH 码 的 概念 。 应 该 注意 ， 
这 些 旱 期 论文 部 只 涉及 了 码 的 构造 方法 ,而 没有 涉及 到 译 码 ，1960 年 , Peterson( 和 参见 文献 [15]， 
109 ~ 120 页 ) 提 出 了 一 种 相当 简单 的 译 碍 算法 , 它 需 要 求解 特定 有 限 域 上 的 线性 方程 组 ， 一 年 
ME , Gorenstein 和 Zierler( 2 HL RK! 15] .87 ~ 89 页 ) 将 此 前 的 研究 威 果 推 广 到 非 线性 码 ， 并 发 
现 他 们 的 推广 包括 了 Reed 和 Solomon( 参见 文 献 [15],70 - 7 页) 早 在 1960 年 就 提出 的 一 类 码 ， 
这 个 时 间 要 时 |: Bose 利 Ray-Chaudhuri 论 文 发 表 的 时 间 !1 AK BCH 码 详 码 的 重 太 突破 发 生 在 
1968 年 , Berlekamp( 参见 文献 [1$] .145 ~ tag 页 , 世 可 以 参见 文献 144] 第 了 章 ) 在 那 一 年 发 表 了 
他 的 壕 代 译 碍 算法， 人 们 至 今 还 会 选择 将 Berlekamp 的 算法 应 用 于 系统 工程 中 ,因为 它 能 够 在 
很 大 程度 上 减少 BCH 详 码 器 的 复杂 度 。 伺 是 发 展 到 当时 , 译 码 理 论 中 的 一 些 重要 概念 还 木 提 
EH- 

1970 4£ , Goppa( 参见 文献 [15],102 ~ 106 页 ) 发 现 了 一 类 码 (后 来 人 们 就 用 Goppa 的 名 字 来 
命名 这 类 和 码 ) ,它们 是 BCH 码 的 一 种 自然 推广 。Goppa 指出 ,存在 码 长 足够 长 的 Coppa 4, R6 
很 好 的 渐 近 性 ,因为 它们 能 够 从 土方 逼近 图 12.1 所 示 的 Gilhert 下 界 。( 这 与 BCH 得 形成 鲜明 
的 对 比 ,尽管 BCH 码 的 应 用 较 六 ,但 它们 的 渐 近 性 很 * 差 "。 因 为 对 于 任意 码 率 二 尺 >0 的 BCH 
码 序 列 ,比率 din eR T 0; BL Berlekamp[31].)Goppa 同时 还 给 出 了 Goppa 码 的 一 种 
译本 算法 ,该 算法 类 似 于 以 前 提出 的 Peterson-Gorenstein-Zierier BA TRAE, Hh M RAW 
Berlekamp 的 递归 算法 进行 推广 。 到 了 1975 年 ， Sugiyama, Kasahara, Hirasawa Fi Namekawal 45 | 发 
到 了 一 个 重要 事实 , 即 可 以 采用 Euclid 算法 对 BCH 码 和 Reed-Solomon 码 进 行 译 码 , 这 一 点 我 们 
已 在 第 9 意 中 详 细 论 述 过 。 实 际 上 ,采用 Euclid 算法 对 BCH 码 进行 译 码 , 比 采 用 Berlekamp 算 
法 差 一 个 很 小 的 常数 因子 。 但 是 ,Puclid 算法 更 容易 理解 ,在 某 种 程度 上 影响 ] Berlekamp 算 
法 的 应 用 . 从 今天 的 角度 来 看 ,完全 可 以 将 Berlekamp 算法 看 做 Euclid 算法 的 一 个 升 缓 ! 最 
后 ,在 1975 年 ,Delsane[33] 和 其 他 的 一 些 研究 者 发 现 Coppa 码 实际 上 就 是 RS 码 的 一 种 改善 ， 
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从 而 为 译 伍 理论 的 发 展 画 上 了 一 个 完美 的 句号 . 
尽管 BCH-RS 码 的 代数 详 码 算法 是 该 领域 中 的 最 重要 上 成果, 但 是 除 此 以 外 , 仍 有 很 多 间 样 
有 效 的 译 和 码 算 法 。 现 在 就 来 介绍 其 中 的 一 部 分 。 
最 时 发 现 的 重要 译 码 算法 是 门限 译 码 , 它 是 我 们 在 引言 中 提 到 的 ”多 票 判 决 " 万 法 的 一 种 推 
广 。 PUB PRES ABE Reed ñ: 1954 年 要 出 ,当时 是 为 了 对 Reed-Muller 码 进 行 译 码 ( 和 参照 习题 7.30, 
Muller 发 更 了 这 类 码 , 译 码 算法 由 Reed 提出 ,他们 在 1954 年 分 别 发 表 了 论文 。) 下 面 将 简单 地 
介绍 -- 下 Reed 的 算法 。 痢 虑 一 个 (7,3) 一 进 制 线性 码 , 其 一 敏 校 验 搜 阵 为 : 
1 1 0 0 0 O 
I 0 1 
H= o 11 
I 1! | 


— > D 


0 
| 
Ü) 


[该 码 就 是 引言 中 介绍 的 (7,4) 汉 明码 的 对偶 码 .,] 容易 验证 ,该 码 中 的 每 一 个 码 字 CC = ( C,. 
Ci, CORME P= PROUT 
cs 
Co = C, + Cy 
Co = C54 Ga 
现在 假设 码 字 C 在 二 进 制 对 称 信 道中 传输 ,该 信道 的 原始 误 比 特 率 为 P, 接收 到 的 矢量 R = 
(Ryo R.) =C+E, 其 中 EE- (6,… ,名 ) 是 错误 图 案 。 由 上 边 给 出 的 校 验 方程 , 译 码 器 得 到 : 
Co— Ri +R; MEE, + Es = Ü 
=R. +R, MRE, + E, = Ü 
Rs + Rs MẸ E; + Es = 0 
Ro 如 果 Ep = 0 
因此 ,如 果 信 道 至 多 只 发 生 一 个 错误 ,那么 它 最 多 也 只 能 影响 上 述 对 Ce 的 一 个 估计 ,对 这 四 
个 千 计 采用 多 票 判 决 ,就 可 以 得 到 正确 的 C,。 如 果 信 道 发 生 了 两 个 错误 ,那么 判决 中 就 出 现 
了 2 比 2 的 平局 ,不 过 考虑 到 估计 值 R,, 这 种 平局 就 很 容易 被 打破 ,因为 在 0< p < 1/2 WIR 
FBR Ey = 01 的 概率 要 大 于 |E,+ 上 =01 的 概率 ， 

Reed 将 土 述 方法 进行 了 推广 ,得 到 一 种 适用 于 全 部 Reed-Muller 类 码 的 译 码 方法 。 后 来 的 
研究 者 们 又 发 现 , 很 多 种 码 都 可 以 采用 门限 译 码 方法 进行 译 码 一 一 这 些 码 的 构造 通常 都 依赖 
于 某 些 夺 限 几何 特征 的 存在 。 对 这 方面 有 兴趣 的 读者 可 以 参考 MacWilliams 和 Sloane[ 19] 的 
第 13 章 ,及 Massey! 20] - 

下 面 要 介绍 的 最 后 -. 种 译 码 算法 是 一 种 严格 受 限 的 译 码 算法 , 它 只 适用 于 第 一 类 Reed- 
Muller 码 。 这 类 码 实 质 上 是 汉 明 码 的 对 偶 码 。 其 中 前 几 个 码 的 长 度 和 维 数 分 别 是 (8,4),(16,3)， 
(32,6),…。 一 般 来 讲 , 对 于 任意 m, 都 存在 一 个 (2”" ,m+ 1)RM 码 。 针 对 这 类 码 , 我 们 有 一 种 
特殊 的 译 码 算法 , 它 建立 在 一 个 2” 阶 阿 贝尔 (Abelian) 基 群 的 快速 情 里 叶 变 换 (FFT) 基 础 上 ; 参 
D, MacWilliams 和 Sloane[ 19], 第 14 章 。 这 种 算法 的 最 大 优点 就 是 很 容易 应 用 在 高 斯 信道 上 ， 
因为 它 不 需要 对 输出 进行 二 进 制 量化 。 下 面 解 释 原 因 。 我 们 可 以 在 平均 功率 限制 为 
E( XX ) <6 的 高 斯 信道 上 传输 任意 的 二 进 制 矢量 x = (2,077.2, V,(F,), FRR x PY 


“0" 元 案 映 射 为 + 8, 将 x 中 的 "1" 元 素 映 射 为 -YF8。 如 果 是 一 个 BCH 码 中 的 码 字 ,如 来 想 
要 用 第 9 章 介 绍 的 算法 对 接收 矢量 y 进行 泽 码 , 就 必须 先 将 y 的 相应 分 量 一 一 它们 都 是 实 
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数 一 一 变换 成 0 和 1 例如 将 正 数 位 映射 为 0, 将 负数 位 映射 为 1。 这 就 是 诉 谓 的 输出 二 进 制 量 
化 . 遗憾 的 是 ,这 样 做 会 降低 信道 容重 (大 概 2 dB 左右 ;参见 避 题 4.15) H iX 4 JE t] RE 
运用 二 进 制 译 碚 算法 的 码 , 在 有 噪声 珊 斯 信道 上 是 没有 实用 价值 的 。 

但 是 止 如 我 们 前 面 提 到 的 ,第 -- 类 Reed-Muller 码 的 FFT 译 码 算法 并 不 要 求 二 进 制 量 化 ， 
国 而 它们 适用 于 前 斯 佑 道 。 而 太空 通信 信道 与 高 斯 信道 模型 非常 类 做 ;因此 ,我 们 就 不 奇怪 为 
什么 1969 年 到 1976 年 期 间 ,所 有 NASA( 美 国 国 家 于 航 局 ) 的 Mariner 型 太空 探测 器 上 使 用 的 都 
是 (32,6)Heed-Muller 码 f. (共有 余 的 太空 探测 器 上 使 用 的 是 着 积 码 ;参见 12.4 节 。) 


12.3 W 


有 关 卷 积 码 的 理论 远 不 如 分 组 砚 的 完善 ,其 中 一 部 分 原因 是 卷 积 码 的 发 展 历史 较 短 ,但 更 
主要 的 原因 是 对 卷 积 码 的 研究 曙 为 困难 :例如 ,到 1970 年 homey( 参 见 文献 [15] ,213 ~ 232 Gt) 
才 发 表 了 有 关 卷 积 码 的 开创 性 论文 ,证 明了 卷 积 码 的 基本 理论 类 似 于 我 们 在 7.1 三 介绍 的 分 
HEA RAC! 当然 这 并 不 是 说 卷 积 码 的 理论 研究 没有 产生 过 重要 上 成果 ,人 它 只 是 解释 了 为 
什么 本 节 的 篇 幅 远 比 上 一 节 短 .，( 当然 在 实际 应 用 中 ,着 积 码 的 地 位 通常 比分 组 码 高 ;参见 
12.4 7.) 

卷 积 码 的 自由 距离 的 作用 类 似 于 分 组 码 的 最 小 虐 离 :对 于 一 个 确定 的 编 磺 速 率 ,具有 最 大 
H HEB SS MERE RE. A ,了 寻找 拥有 最 大 可 能 自由 距离 的 卷 积 码 ,成 为 研究 者 们 努 
力 的 日 标 、 尽 答 人 们 尚未 找到 性 能 类 亿 于 BCH 分 组 码 的 卷 积 码 ,但 是 已 经 发 现 了 大 量 不 同类 
卉 的 好 卷 积 码 。 例 如 ,Larsen[37] 给 出 了 一 个 编码 存储 M< 13 的 (2,1),(3,17 和 (4,1) 好 痊 积 码 
的 表 ;Johannesson[36] 列 出 了 编码 存储 M = 35 的 (2,1) 好 着 积 码 。 郑 积 码 所 具有 的 额外 目 由 
度 , 即 被 称 为 编码 存储 的 于 ,使 得 针对 {2,1) 卷 积 码 的 研究 也 变 得 非常 丰富 ,而 (2,1) 分 组 码 却 
EREA. BRAN The M 而 政变 (n,) 的 着 积 码 也 进行 了 大 量 的 研究 ,但 是 还 没有 
取得 重大 突破 。 

信道 编码 定理 2.4 是 利用 分 组 码 证 明 的 。 这 时 很 自然 会 租 到 能 否 利用 卷 积 码 证 明 该 定 
理 。 话 今 为 正 , 这 个 答案 还 不 人 确定。 当然 可 以 利用 树 状 码 ( 该 码 可 以 通过 在 类 似 于 图 10.20 所 
示 的 树 状 结构 上 进行 标注 击 得 到 ) 、 网 格 码 { 该 码 可 以 通过 在 类 似 于 图 10.7 所 示 的 网 格 结构 上 
进行 标注 而 得 到 } 或 疼 它 们 的 某 种 受 眼 子 集 去 证 明 。 这 些 码 都 可 以 利用 移 位 寄存 器 得 天 (参见 
图 10.3 和 图 10.4) ,但 移 位 寄存 器 的 连接 是 可 以 随时 间 变 化 的 ;因此 这 类 码 有 时 也 称 为 时 变 卷 
积 码 ,而 一般 的 卷 积 码 则 称 为 固定 卷 积 码 。 有 兴趣 研究 时 变 卷 积 码 编码 定理 的 读者 可 以 参考 
Massey| 21 | at Viterbi 和 Omural 26 | Ha 5 音 。 

序列 译 码 是 最 早 提 出 的 卷 积 码 译 码 算法 ,人 们 对 序列 译 码 的 研究 直接 导致 了 着 积 编 协 理 
论 中 -… 些 重要 结论 的 诞生 ， 在 10.4 节 中 曾 指出 ,实际 应 用 中 序列 译 码 算法 与 最 大 似 然 详 码 器 
在 码 树 上 选 拌 的 路 径 遂 常 是 相同 的 ， 遗憾 的 是 ,序列 译 码 算法 做 出 判决 所 需要 的 计算 次 数 是 
一 个 随机 变量 , 它 依赖 于 噪声 的 大 小 。 事 实 上 ,如 果 用 C 表示 序列 译 码 器 译 出 前 工 个 信息 比 
特 所 需要 探测 的 路 径 数 ,就 会 有 : 

P IC > x) = Ex 


其 中 a 是 一 个 取决 于 信道 和 编码 速率 的 正 值 常数 , 它 与 * 无 关 。 如 果 编 码 速率 过 于 接近 信道 
容量 ,a 的 取 值 就 会 介 于 1 和 2 之 闻 。 这 反 过 来 也 说 明 , 尽 管 随机 变量 C 的 均值 是 有 限 的 ,但 
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心 的 方差 却 基 无 限 的 : MTSE PRE] IE AS. SE), SE AL EB LSE 
AIREARI, HR EA E eA APS BGA PZ ee. ke PPR A AIF E gu (y ar — Eh K FEF A ËB 
Hee asr. WH ERS a ei PL Br L K ee eM Sie, SEK. WME C 
RA E AICI AY nha Ah Ti HK a PE SUPE S K AEM. 

Bete ca AS All BE hy A a e SK iF M st oh ke ES Ped] 2J8N 2.21 3 2JEM 2.26 RA 
题 4.3 至 习题 4.9 中 提 到 的 速率 RR,; R, 有 时 也 表示 为 Rono (ERUE RRR 及 ,这 种 缓冲 
器 溢出 问题 也 会 影响 码 的 性 能 例如 ,站 宽带 高 斯 信道 上 传输 一 个 (2, 了 0) 状 积 公 , 该 个 的 纺 公 
存储 和 自由 距离 都 很 大 , 人们 可 以 使 明 比特 率 降 到 很 低 ,但 却 不 容易 将 它 的 删除 概率 ( 即 没 有 
足够 的 时 间 对 一 个 给 定 颖 特 进 行 译 码 的 概 府 ) 降 低 到 10“ 以下。 有 关 序 列 详 码 计 算 量 分 布 的 
举 细 介绍 ,可 以 参 疝 Viterbi 和 Omural 26.4 6 #. 

除了 Viterbi 译 码 和 序列 译 码 以 外 , 卷 积 徊 还 有 第 .种 很 重 归 的 译 但 方法 , 称 为 门限 闯 码 。 
该 方法 与 我 们 在 12.2 BA ALS REAR. EE Massey| 20) 7% 1963 EHE 
HAG; fE Gallager 17169 6.8 节 中 对 它 进 行 了 讨论 最 近 , Wel 48) AER IK aS EAB 
党 巧妙 地 运用 了 门限 二 后 万 法 ， 

最 后 我 们 提醒 读者 注意 ,Schalkwijk AI Vinck 在 1976 iF. H Y EEB EPRE, E 
类 侧 于 分 组 码 的 伴随 式 译 而 算法 (参见 7.2 节 ) ,同时 及 与 Viterbi FOSSIL AR SIEM a 


12.4 分 组 码 和 卷 积 码 的 比较 


在 本 千年, 将 对 分 组 鸽 和 卷 积 码 在 实际 应 用 中 的 优点 做 一 个 简略 的 比 轻 。 

很 显然 ,在 编码 理论 (分 组 码 或 卷 积 码 ) 中 取得 的 最 重要 成 果 . 当 属 BCH-RS 码 的 代数 岸 码 
算法 ,我们 已 经 在 第 9 章 对 它 进 行 了 介绍 。 介 是 值得 注意 的 是, 这 类 码 是 为 一 类 非常 特殊 的 信 
道 而 设计 的 , 即 o 进 制 对 称 信道 (特别 此 ,对 应 BCH 但 的 站 二 进 制 对 称 信道 ), 所 以 其 详 码 算 法 
不 易 { 如 果 不 是 不 可 能 ) 详 用 于 其 他 从 道 . 

另 一 方面 , 卷 积 码 的 两 种 最 重要 的 译 码 算法 ( 妇 Viterbi 详 码 和 序列 译 码 算 法 ) ,尽管 不 第 
要 深奥 的 数学 理论 ,但 适应 忻 却 非常 强 , 在 大 多 数 类 型 的 信道 中 都 适用 。 由 于 在 实际 系统 中 只 
有 很 少 一 部 分 通信 信道 能 够 被 檬 所 为 ç 进 制 对 称 信道 ,因此 我 们 就 不 育 怪 为 什么 在 大 多 数 通 
信 系 统 中 采用 的 是 卷 积 码 而 不 中 分 组 码 了 。 下 面 将 通过 两 个 特殊 的 例子 来 说 明 这 一 点 。 

首先 考虑 一 个 一 进 制 对 称 信道 ,其 原始 误 比 特 率 为 p,0< p < 1/2。 我 们 在 图 12.2 中 给 出 
了 两 种 实际 编码 系统 在 这 个 入 道中 的 性 能 , -种 是 (127,64) 纪 下 10 个 错误 的 BCH 码 , 采 用 图 9.1 
所 示 的 译 码 算 法 进行 译 码 , -AREER Galar tte ttl ee + xm + x" 41) 
的 (2,1)WW=6 郑 积 码 ， 从 图 中 吓 以 看 出 , 当 p 的 值 太 于 p=0.003 时 , 卷 积 砚 的 性 能 优 于 BCH 
A ,但 是 当 b 取 很 小 的 值 时 ,BCH 码 的 性 能 更 优 ; 例 如 ,在 p=0.001 时 ,BCH 码 的 性 能 约 超过 
EaR, BCH 码 的 性 能 优 - 王 卷 积 码 的 根本 原因 ,人 在于 它 的 最 小 距离 (21) 比 卷 积 码 的 
自由 虹 离 (10) 大 得 多 。 在 速率 为 112 的 条 件 下 ,要 进一步 改善 图 12.2 所 示 卷 积 码 的 性 能 是 非 
常 困难 的 ,因为 惟一 途径 就 是 增加 它 的 编码 存储 ; 介 是 当 M 的 值 增 大 到 超过 7 或 8 时 ,就 很 难 
wat Viterbi 算法 实现 详 码 了 ,而 当 音 取 值 较 大 时 ,如 果 采 用 序列 详 码 算法 ,删除 概率 ( 即 12.3 
此 所 介绍 的 由 于 计算 量 问 题 而 引起 的 算法 判决 失败 的 概率 ) 就 会 决定 码 的 性 能 , 但 为 一 方面 ， 
却 不 难 构 造 一 个 速率 接近 1/2 , 码 长 为 255 或 511 的 BCH 但 ,在 适度 增加 算法 复杂 度 的 条 件 下 ， 
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其 性 能 显著 优 于 图 12.2 也 示 的 狂 能 - 至 此 我 们 驯 以 得 出 第 论 , 在 一 个 二 进 制 对 称 信 道中 , 除 
非 信 道 受 品 声 干扰 非常 严重 ,否则 一 个 分 组 码 , 或 者 更 其 体 地 讽 , 一 个 BCH 全 .将 会 比 卷 积 码 
EIEH. 


0 m~ TT 





lO | : 
aoe ODO 0008 G05000500040003 Oe Og 
一 一 一 PP 原始 误 比 特 率 


图 12.2 二 进 制 对 称 信 道中 分 组 码 和 卷 积 码 的 性 能 比较 


作为 第 二 个 例子 ,考虑 第 4 章 中 介绍 过 的 宽带 高 斯 信道 。 在 图 12.3 中 给 出 了 前 面 所 述 那 
两 种 码 的 性 能 曲线 ;数值 E, 是 比值 PIR, 其 中 PA A) R 是 信 源 速率 ( 单 
位 为 比特 /种 ). 因此 E, 的 单位 是 焦耳 /比特 ; 它 通 常 称 为 每 比特 能 量 , 面 EiNo 称 为 比特 信 
et, “dB” OR tA E, N, 的 直接 比值 ,而 是 10logw E, / No。 这 是 信道 的 一 种 标 
准 表示 方式 ;例如 ,参见 Heller 和 Jacobl 35]. 

在 疼 12.3 中 ,BCH 人 码 不 仅 失 去 了 它 的 优越 性 ;而 且 现 在 它 的 性 能 明显 比 卷 积 码 差 。 这 基 
因为 为 了 应 用 第 9 章 介绍 的 BCH 码 代数 译 码 算法 ,必须 先进 行 输出 二 进 制 量化 ,而 Viterbi 算 
法 却 可 以 将 未 经 量化 的 实数 作为 输入 ,实现 译 码 (参见 10.2 节 )。 由 于 输出 二 进 制 量化 造成 的 
信息 损失 过 大 ,所 凡 尽 管 BCH 码 本 身 的 性 能 比 卷 积 码 更 优越 , 却 不 能 弥补 这 些 损失 : 

通过 这 两 个 具体 的 例子 ,我 们 想 说 明 的 是 ,在 实际 应 用 中 的 大 部 分 通信 信道 都 可 以 模拟 为 
帘 带 高 斯 信道 , 却 很 少 能 用 二 进 制 对 称 信 道 来 模拟 。 因 此 在 大 多 数 实际 应 用 中 选择 卷 积 码 作 
YEN Fa 85 . 

[实际 应 用 中 的 一 个 有 趣 例 子 ; 太 空 航行 器 和 地 球 之 间 的 通信 和 链 踏 通常 可 以 近似 地 模拟 为 
一 个 宽带 高 斯 信道 。 自 20 世纪 的 年 代 末 以 来 ,已 经 有 多 种 成 熟 的 编码 方案 被 用 于 太空 通信 
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1969 年 至 1976 年 期 间 ,NASA 的 Mariner 号 宇宙 飞船 上 采用 的 是 (32,6) 第 一 类 Reed-Muller 码 配 
合 FFT iAH BEE 1977 年 KB RAR! TAN, M = 6 SRS. AA 
天 器 上 (例如 ,NASA 的 “先锋 号 "以 及 西 德 的 "太阳 神 导 ”) 都 采用 了 M24 HE (2,1) ARIA 
合 序 列 详 码 方法 。 ] 

我 们 还 要 指出 ,在 1976 年 , 当 本 书 的 作者 在 NASA 的 喷气 推进 研究 室 工作 时 ,曾经 针对 一 
种 性 能 较 好 的 分 组 码 , 即 (48,24) 二 次 剩余 码 , 提 出 了 一 种 不 需要 进行 和 输出 二 进 制 量化 的 堪 码 
Bx, TE 12.3 中 以 虚线 标 出 了 这 种 码 的 性 能 。 尽 管 它 的 性 能 不 如 养 积 码 ,但 部 握 供 了 如 下 
思路 ;由 于 (127,64)BCH 码 的 性 能 要 优 于 (48,24) 码 (d=21 对 比 & = 12), 因 此 如 果 能 够 找 
出 BCH 码 的 非 二 进 制 译 码 算 法 ,那么 BCH 码 也 许 会 过 和 远 优 于 着 积 码 。 

最 后 ,我 们 注意 到 在 图 12.3 中 , 卷 积 码 只 有 在 p. 值 约 等 于 107 sk AE SAY. 2: 
P. 取 较 小 的 值 时 ,日前 已 知 的 最 佳 应 用 方案 尾 级 联 三 方案 (参见 6.2 9.6 T), EAE 
— Fe RA Pin EB. > Reed-Solomon( 分 组 ) 码 {请 参考 文献 Odenwalder[ 41 | ) - 
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图 12.3 ”宽带 高 斯 信道 中 分 组 码 和 卷 积 码 的 性 能 比较 


12.5 和信 源 编码 


香农 的 信 源 编码 定理 3.4 与 他 的 信道 编码 理论 都 存在 一 个 相同 的 主要 缺点 :不 可 构造 性 
(参见 第 了 7 章 引言 部 分 的 注释 )。 因 此 ,人 们 当然 想 发 展 一 种 信 源 编码 的 构造 性 理论 ,下 如 我 们 
在 第 7 章 至 第 10 章 所 介绍 的 信道 编码 构造 性 理论 一 样 。 但 是 到 自前 为 止 ,这 个 月 标 还 没有 实 
现 。 研 究 者 们 仅仅 得 出 了 一 些 零散 的 结论 (例如 ,第 10 章 介绍 的 零 失 真 方法 ,以 及 本 节 将 要 介 
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绍 的 内 容 ), 并 没有 形成 系统 的 理论 。 出 现 这 种 情况 主要 有 以 下 几 个 原因 ;(a) 研 究 信 源 编 代 显 


然 比 研究 信道 编码 更 为 困难 ;{b) 实 际 中 可 以 接受 的 失真 过 小 ,因此 很 难 达 到 这 一 点 ;(c}) 实 际 
应 用 中 的 很 多 或 者 说 大 部 分 信 源 都 很 难 进行 数学 建 模 ,也 无 法 估量 相应 的 失真 度 。 印 让 最 后 
— -所 的 经 典 例 子 就 是 数据 的 可 视 化 ,例如 , 远 处 飞行 的 飞机 的 照 户 : 

现在 我 们 来 介绍 一 些 在 构造 性 信 洲 编码 理论 中 的 最 重要 结论 。 

首先 从 对 应 均 方 误差 失真 测度 的 无 记忆 高 斯 信 源 (参照 4.2 六) 开始 ,无 记忆 高 斯 信 源 是 
实际 应 用 中 经 常 遇 到 的 一 种 信 源 模型 ,但 是 由 于 它 的 RCO) = = ,因此 不 可 能 实现 理想 传输 ( 参 
照 图 4.2) ,因此 研究 该 信 源 的 编码 问题 非常 重要 。 幸 运 的 基 , 我 们 可 以 采用 一 种 非常 简单 的 
技术 , 即 量化 。 

量化 足 - -种 将 信 源 符号 u 映射 为 /(4) 的 方法 ,其 中 是 一 个 单调 步 进 函 数 , 它 只 取 有 限 
多 个 值 。 因 此 ,存在 实数 L < < { 称 为 量化 电 平 ) 和 TT <…  T (RA BIER RE: 
“SAMY T, <uel, flu) = L BP m= - @ T. = + %。 这 种 映射 将 连续 无 记忆 信 
源 USAW OWEN e MERLE) BRA Tica CU) aL, 
的 概率 为 p, = PLT, <U<T,}. 显然 用 (U0) 表示 5 的 平均 失真 度 为 = EV- 了 AU)]; 
此 外 ,由 第 11 SWARM RB, RRA /( 如) 的 一 个 符号 所 需要 的 平均 比特 数 为 HL DU)]。 
因此 (参考 图 4.2) ,通过 这 种 量化 方案 ,可 以 计算 出 点 R= H. f( U]. = ELU- UT 的 值 。 
Max 和 其 他 人 通过 大 景 的 方法 证 明了 一 个 惊人 的 结论 , 即 如 果 恰 当地 选取 量化 电 平 和 量化 1] 
限 ,这 种 方案 的 性 能 是 非常 接近 于 (在 1 比特 范 闭 内 } R86) 曲线 的 。( 参 见 文献 L251 中 267 ~ 
et Max 的 论文 Berger! 1315.1 节 更 详细 地 总 结 了 各 种 量化 方法 ,包括 将 它们 应 用 于 有 记 

高 斯 信 涛 的 讨论 。 也 可 以 参见 文献 [16] 中 的 论文 19 ~ 25。) 

在 介绍 一 些 更 复杂 的 信 源 编码 技术 之 前 ,首先 讨论 -一 下 依 源 编码 和 依 起 译名 之 癌 的 相 伐 
> hb. aoe BLN, xe FUG A id A A BW E — Beli iF e Ú , 

[Ji — AERA k AREA R. 的 信 源 编码 , 它 是 子 集 C, = iy. WYy (C RUE) = VM, 


满足 大 Jog M. = R,- AAT FAAN: 
6(C = EL dulu, f.(u)] 


HDS PES uc 下 ,编码 函数 PEMA C 中 与 a 汉 明 距离 d, RDB FLESH 
x0 (3.18) J. 

HET jel R— PGK n, SRE OR, 的 信道 编码 , 它 是 子 集 C. = i4, mt ke Ú! C 
V ,满足 R =n ogM. SHERT x, 时 ,由 于 信道 噪声 的 干扰 ,接收 可 能 为 任意 YE V, - 
译 码 两 数 上 必须 能 够 将 V. 映射 为 C. ;理想 的 应 该 将 接收 到 的 3 映射 为 与 y 汉 明 妈 离 ds Be 
小 的 码 字 :， 

在 这 两 种 情况 下 ,函数 都 是 将 属于 整个 空间 的 一 个 矢量 映射 为 与 它 最 接近 的 一 个 码 字 。 
这 意味 着 ,给 定 一 个 性 能 较 好 的 信道 编码 和 译 码 算法 ,该 码 同 样 可 以 用 于 信 源 编码 ,此 时 信道 
泽 码 算法 即 是 相应 的 信 源 编码 算法 。( 同 样 ,信道 编码 算法 应 作为 信 源 译 磺 算 法 使 用 。 你 能 说 
明 为 什么 吗 ?) 这 是 -- 种 很 好 的 思路 ,不 过 它 同 时 也 具有 缺点, 下面 我 们 将 加 以 解释 。 

在 引言 中 已 经 看 到 反 向 应 用 信道 编码 得 到 信 源 编码 的 例子 ;当时 采 用 了 重复 码 , 里 车 要 的 
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是 ,我 们 芭 疝 应 用 (7,4) 训 明和 玛 得 到 了 一 个 六 =0.5714 和 6G=0.120 的 信 源 编码 ， 妆 人 = 
0.1250 了 时 ,RS)=1- 下 05) 的 值 为 0.456 4. 因 此 汉 明 码 作 为 信 源 编码 使 用 ,共性 能 相当 好 。 
类 似 地 ,如果 完备 (23,12)Golay 码 ( 采 上 用 作 随 式 查 表 译 码 方 法 ?被 用 于 信 源 编码 ,将 得 着 R = 
0.5217, 人 =0.1240[ 对 比 RCO. 124 0) =0.459 21, 因 此 也 不 存在 问题 . 

考虑 刘 第 9 章 的 结果 ,我 们 自然 希望 能 够 将 BCH 码 用 于 信 源 编 妈 ,人 是 这 就 会 产生 严重 
的 问题 ,因为 第 9 章 介 绍 的 谋 码 算法 是 不 完善 的 。 也 就 是 说 ,只 有 当 接 收 天 量 y TARIE +H 
当 接 近 时 ,该 算法 才能 正确 译 码 ;而 在 其 他 情况 下 ,该 算法 的 性 能 很 不 理想 ,例如 , 演 虚 一 个 
(31,16) 纠 正 3 个 错误 BCH 码 .， 当 接收 和 失 量 与 发 送 码 字 的 汉 明 距离 不 超过 3 时 , 它 的 序 个 算法 
(参见 图 9.] ) 才 会 成 功 实 瑰 . 但 是 在 V. PYRE STS KE RAR: 


Pla (1 +31+6') + (3) = 3.3 x 10° 


MAA A V2 =2.1x10 SRSA 15%, SaaS 8 A, AA E [P On, 
下 ,在 信道 中 传输 该 码 出 更 3 个 以 上 的 错误 几乎 是 不 可 能 的 。 亿 是 对 于 信 源 编码 而 育 , Va 中 
每 个 和泉 重 的 发 送 概率 都 是 相等 的 ,这 上 先 珊 来 严重 的 后 果 ; 芷 85% RITE E Sa St aa Ze Ha 
出 ! [通常 的 失败 模式 是 错误 位 置 冤 项 式 afx) 的 最 高 深 数 为 3, 但 存 FS Rb + 
3 个 。| 

苇 述 的 考 谍 使 研究 者 们 试图 设计 出 BCH 码 的 实用 详 码 算法 , 妇 不 论 译 码 奋 的 输入 是 什 
么 , 它 孝 能 产 牛 一 个 最 接近 的 码 字 .对 于 纠正 单个 错误 BCH 码 ,找到 这 样 的 算法 不 成 问题 : 因 
为 译 码 算法 本 身 就 已 经 是 完善 的 了 。Berlekamp[141 的 第 16 章 给 出 了 纠正 两 个 错误 BCH 码 的 
完善 译 码 算法 。 最 后 , Vanderhorst 和 Berger[47] 研 究 了 纠正 3 个 错误 BCH PIIR OL 

上 面 我 们 针对 分 组 二 的 情况 , 摘 述 了 将 信道 编 磁 用 做 信 泛 编码 的 概念 ,这 个 赃 念 同样 适 弄 
FAG PELLEA - - 些 研究 者 进行 了 这 方面 的 赋 究 。 例 如 , Berger[ 13 ] 的 第 6 重 中 讨论 
了 对 序列 译 码 方法 进行 - - 些 改 善 ,以 得 到 更 好 的 译 井 结果。 Anderson 最 近 发 表 的 一 篇 论文 ( Z 
见 文 献 [28]}) 给 出 了 适应 信和 源 编 倘 的 维 栈 算法 。 在 Davisson 和 Gray 编辑 的 文选 [16| 中 收 东 了 
更 多 这 方面 的 论文 ,包括 在 语 音 压缩 方面 的 应 用 
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首 完 而 要 强 莘 的 是 ,我 们 的 日 的 并 非 是 让 读者 学习 概率 理论 。 关 十 概率 论 的 知识 ,这 蛙 推 荐 
网 本 书 , 一 本 是 Lamperti 的 简明 教材 (参见 文献 .8]), 男 一 本 是 Feller 的 两 着 论 苦 (参见 交 献 [4])。 
这 部 分 内 容 愉 是 介绍 一 些 标准 符 写 表示 法 和 某 些 虱 例 ,其 中 还 介绍 了 弱 大 数 定理 ,该 定理 是 本 
第 2 章 和 第 3 章 中 编码 定理 证 明 的 基本 工 虹 ， 

最 茶 本 的 概念 是 榜 率 空 间 (0, 晴 ,让 ) ,其 中 避 是 一 个 称 为 样本 空间 的 韭 裤 集合 ,上 8 是 人 于 
集 的 一 个 Bare] 域 ,而 P oE RP AEB TIERRA EM PIO) = ,以 及 


PU aah -Pd 


这 里 假设 所 有 的 4, C BLA A, CAAA. P PF JJ AA, PAG, SR = fo oa | 
LAR Renan BE n 所 有 于 集 的 集合 .而 tpi,p;,-…) 是 总 和 为 1 的 :组 非 负 数 , 则 定 
六 Pid = Alimi € At 将 使 (0,8,P) 构 成 个 概率 空间 ,我 们 称 它 为 离散 概率 空间 。 

随机 变量 天 是 一 个 将 所 映射 力 基 -集合 吕 的 图 数 , 届 称 为 夺 的 取 值 范围 。[ 我 们 用 字母 
表 中 最 后 儿 个 宁 母 的 大 写 形 式 ( 如 三 , V) OE RESUMO B WI Ria R 是 实数 的 一 个 子 集 ,但 
有 上 时 晴 也 可 能 是 其 他 种 类 的 集合 。 例如 ,如 果 吕 是 ” 维 欧 用 里 得 空间 的 一 个 子 集 OX BRN 
随机 矢量 .用 黑体 字 X 表示. 发 的 组 成 分 量 表示 为 XM A DL Ke X = 
(Xon, ) 看 做 是 一 系列 (一 维 ) 随 机 变量 。 

对 于 定义 在 相同 概率 空间 上 上 的 两 个 随机 变量 X 和 了 ,如 果 集 合 ijw: Xl olele) B) P Wi 
度 为 0, 则 认为 这 两 个 随机 空 量 在 任何 情况 下 都 相等 。 用 符号 表示 为 ; 

X= Y4RRY PIX Z Y) = 0 

如 果 随 机 变量 X RAGH R 为 整个 实数 轴 , 则 它 的 期 望 或 者 均值 定义 为 : 


E(X) = | x dP 

HEIA, E X) pR S y 关于 测度 五 的 Lebesgue 积分 。 
期 望 的 另外 一 个 等 价 定义 通常 更 使 于 计算 。 对 于 任何 的 Borel 实数 集合 ,通过 定义 P,(5)= 
Pla:X(a)C Si 将 定义 在 中 上 的 测度 P 转换 为 RR 上 的 概率 测度 Py。 这 个 测度 称 为 的 分 


#h , (iT PERK 
Fyd = Pla: X(w) = x} 


Reon X G4 dp Bak, MA Lebespue-Stieltjes A XC KDE. X ASA BST T: 


BUX) = | apa = | x dF y (x) (A.]) 
R 


— 


Fm cd PR TT AA A o 


dd i 
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首先 ,如 果 是 离散 的 ,并 且 对 于 任意 x 所 请 ,我 们 定义 p(x)= Py(}x1) = Pla: Xlw) =x}, 
MEXA. DREH: 
E(X) =} p(x) x 


W AY A AER AIA; Ee PAE PI XES =1 的 任何 离散 实数 子 集 5。 瑟 为 一 般 地 ,如 
果 了 是 定 羡 在 $5 上 的 任意 实数 值 阴 数 , 则 A EE RL BB PAB: 
ELFX = 5 ` pf (A.2) 


此 类 求 和 起 在 本 书 的 第 -部 分 中 多 次 出 现 ,并 有 旦 通常 假设 f(x) 的 值 不 等 十 o ,或 者 对 x 的 
某 些 确定 值 不 司 定义。 但 是 一 般 情 况 下 ,所 x) 仅 在 茶 些 0 测 度 点 上 [ 即 对 应 ptx) =0 的 某 些 x 
值 ] 取 值 不 确定 ,而 此 时 通常 假设 它 对 总 和 的 页 献 为 0。 

其 次 ,如果 随机 变量 荆 存 在 概率 密度 冰 数 ,也 就 是 说 , 它 的 分 布 函 数 可 以 表示 为 (x) = 


| p(u) ,其 中 口 是 一 个 非 负 值 郴 数 , 则 邯 的 期 望 可 以 按照 下 面 的 公式 计算 ， 


Ex) = | | u- plu) du {A.3) 


JEM ELSON) = , flu) pCa) du. 
接 下 来 介绍 “相互 独立 "这 个 重要 锋 念 : 
B(0,B ,了 ) 是 概率 空间 ,并 设 4 ,4;,…, A 是 属于 8 的 集合 。 如 果 对 于 事件 41 ,4,,…， 
A, 的 任意 子 集 4 A, ABA 
P{A OAR O NA Aj, } = P{Ag} PIAR} 


我 们 就 称 事 作 4 ,4 A, 之 问 是 相互 独立 的 。 更 重要 地 ,如 果 对 于 任意 选择 的 S 5. 7, 5, 
CB ,事件 起 =)w:; 半 (wj) 全 5 | 之 间 相互 独立 ,出 定义 在 相同 样本 空间 上 的 随机 室 量 和 x, 
也 是 相互 独立 的 . 这 个 结论 不 容易 直接 证 明 , 因此 下 面 仅 对 有 两 个 随机 变量 的 情况 进行 
讨论 。 

WR 工 和 了 是 任意 一 对 定义 在 相同 样本 空间 上 的 实数 随机 变量 , 则 不 论 它们 是 否 钼 互 独 
六 ,映射 eo OX Ce), to) 者 产生 一 个 二 维 Borel 集会 上 的 测度 Pyro AMERA XAY 
的 联合 分 布 , 而 申 妾 

Fixy(x, y) = Pla: X(m) = x, Y(@) = y} 
PR J X HI Y MRSS Ba, MEY MY EAEI RRM P. 是 一 个 乘积 测 
度 , 即 对 于 仔 意 两 个 一 维 Borel A SHIT, A P; (Sx T)= P, (S)P,( T) . AP P, WP, BA 
XY PRI - 维 测 度 。 等 价 地 , 当 且 仪 当 
PT 人 y) = Fx(x)Fy(y) 

石和 了 相互 独立 。 其 中 F, AF, OSE X AY 的 分 布 函数 。 

在 离散 情况 下 ,如 果 对 于 ( 艺 范 围 内 和 了 范围 嵌 的 ) 任 意 x H y EM play) = Ple: X w) =x, 
Y(o)= yi MHAM plx, y) = pla) p(y) X AY 相互 独立 ,其 中 p(x)= PLXCw) =x), 
p(y)= P| Y(o)= yi。( 注 意 符号 的 两 种 不 同 含义 ;相同 的 符号 p(*) 用 在 两 种 完全 不 同 的 离 





1] fy Tee Garli 581 1 
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散 分 布 函数 中 ;它们 的 区 别 仪 在 于 针 范 围 内 的 元 素 用 x 来 表示 ,市 了 范围 内 的 元 素 用 y 来 


表示 ,) 
在 下 面 的 情形 中 ,如 果 和 了 分 别 上 共有 密度 p(x) 和 ao) MAEHAN 


F yy (x. y) = | | pisal r) ds dt 


BD X ALY BARGE p(x. vy) =plad¢a yA X MY RAY. 

Fi ZEEE ARS AO oe M, a SE BSE EE RE 

弱 大 数 定理 ”对 于 任意 n i N,N. X. SHALES, SILER BJ 33 
望都 是 一 个 有 限 值 x 一 一 实际 上 它们 都 具有 相同 的 分 布 图 数 、 则 对 于 尾 意 gs > OLA: 


AS FC 


» 1k i 


Mtoe B DARA Jensen 不 等 式 


请 参考 Fleming! 6] ,13 ~ 28 TA 53 ~ 66 D1; Feller[4], 2 II, 153 ~ 155 DL. 
iz TTE KC Er KJLEIĘ n FES) WREE KAP RR EYRE HAE KA, 
HIERA FEH. 


4 的 J= p4 RY 


连接 x, M x, HAREAREN): xix = te +i- t)x,, (C [0.1]: . 

尽管 以 土 凸 集 的 定 久 是 以 成 对 点 的 形式 给 出 的 ,但 也 可 以 按照 如 下 和 任意 有 限 个 点 的 串 组 
合 形 式 来 定义 。 如 果 Slax, = x ,其 中 a,a;,…,as 是 一 组 非 负 值 标量 ,满足 > a; = ] , 则 
称 点 x 是 Xx) tasna dn BUA. x zx SPA OB ea WRB RN x, x; ，… ,4。 的 
O28 ER B. D. 容易 证 明 当 昌 仅 当天 内 任意 点 的 凸 组 合 仍 在 关内 时 RG K OH. 


vs 
X- 
x, 
V A 
Y. X| 
: x, 


图 B.1 二 维 空间 中 的 eels 


现在 设 7 是 一 个 实 什 本数, 并 设 闫 是 六 定 艾 域 上 的 一 个 丁子 集 。 如 果 对 于 任意 的 x. x, € 
K.K (C [0.1], 





fixi +(] — foo) = f(x) + (1 ix) (B.1) 
MWe £ E F I U WJ(“3AR4K657), Jeh, RG x= x, 用 0<i<1 时 , 式 (B.1) 中 的 不 等 式 严 格 
成 立 , 则 称 了 是 严格 下 西 品 的。 如 下 图 所 示 的 一 维 空间 的 例子 。 


1 
- 
= 
Ta 
J 
it 
` ' 
` 
l ' 
' 
a 
a 
由 
’ 
' 
' 
' 
' 
` 
2 = 一 == 一 一 
re 
' 
' 


Prii 严格 下 后 J JE Feb L 
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从 几何 学 的 角度 讲 , 当 且 仅 当 上 了 所 有 的 弦 帮 位 于 了 曲线 上 方 或 曲线 上 时 , 才 称 了 是 下 凸 凯 的。 
类 似 地 ,如 果 -了 是 下 凸 岂 的 或 严格 下 吊 吕 的 ,也 就 是 说 ,如 果 式 (B.1) 中 不 等 号 的 方 同 是 
相 及 的 , 即 


ft (1 — t)x2) + — f) f (x2) (B.1') 
WU eRe fA k y eo CORRS 或 严格 上 了 本 站 的 。 





下 西门 Pe bth JE |: tr" 


HEME, ORRERRRS: OR 大 是 一 个 开放 上 西 集 , 且 了 在 天 上 是 凸 的 (入 或 
U} MU 了 在 入 上 是 连续 的 。 但是, 如果 无 是非 开放 的 , 则 了 在 上 的 边界 点 上 有 可 能 不 连续 , 例 
Mike K =[0,1],"40<x=1BF,f(z)= x, (0) = 100 B.2). 


Ü l 


图 B.2 (EOI RIA PUES) ,但 在 x =0 点 不 连续 


如 果 了 充分 平滑 ,我 们 可 以 利用 微 积 分 来 检验 了 的 凸 性 ， 例 如 . 届 了 是 一 维 空 间 中 的 一 个 
函数 ,是 对 于 任意 点 +EKK, 一 阶 导数 f RFE. US f E K EIERE, e Fr Ú 
的 ; 当 且 和 仅 当 了 ' 在 天 上 递增 时 ,f ER T UÉ MR “存在 , 则 当 且 仪 当 在 KK 上 “(x)=0， 
了 是 下 凸 口 的 ;并 且 如 果 除 了 有 限 个 点 以 外 ,都 及"(z) >0, 则 了 是 严格 下 屿 UU 的 。 这些 情况 
HF EENKEER. (EERE pA, a AARRE A CA RAR ERL D A 
性 ;详细 内 容 参见 Fleming[6],2~4 47.) 

另外 ,如 果 PEK ERA MARYAM BJ z, yo Kade flyi+ VA(Y): 
(x --y) 均 成 立时 ,f E FAUK SHAR SAY x= y, ERASE, fe F es 
UB: 

最 后 讨论 Jensen FFA, CHAM RATER TRY, KBE LATE, 
而 F(x) 是 集中 在 区 间 下 内 的 一 个 概率 分 布 。 并 说 半 是 相应 的 随机 变量 ,加 PIX =< xi = 
Fix). WERA CX) 存 在 , 计 且 f(x) 是 PhP UR, Dy Jensen 不 等 式 可 以 表示 为 ; 


EO D = f(E(X)) (B.2) 
另外 ,如 果 了 是 严格 凸 的 , 则 不 等 式 (B.2) 严 格 成 立 ,除非 互 集 中 于 其 个 固定 版 各, 即 POY = xÚ) = 1. 
从 儿 何 学 的 角度 来 看 ,Jensen PEALE B.3) 表 明 ,如 果 一 个 集中 分 布 位 于 曲线 f E. MD H 8: 


EE EL 


To AAM (concave tE F ph U Coonvex UU) mH" A" ( convex) AREAN (convert) ) 
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心 将 们 于 曲线 了 的 上 方 ( 或 曲线 上 )。 显 然 如 果 了 是 上 上 串 介 的 , 则 不 等 号 的 方向 相反 : 
EUX) < AE) (B.3) 


LELY Er)) 


ata j) 


; FI 








K ¿= zal 


| 





BJ B.3 离散 分 布 的 Jensen 小 等 式 
最 后 介绍 两 道 例 题 ,其 中 fix) 是 上 西门 函数 logx OX BAA LE as BEI). 
ABMS YER MEAIB X 具有 一 个 密度 函数 。 
例 B.1 设 吕 = |w,w,,…| 是 一 个 离散 的 实数 集合 ,并 设 plo ) 是 一 个 非 负 值 涵 玫 ,满足 
》) pla) =1]。 则 显然 人 0 是 一 个 离散 样本 空间 (参见 附录 A). E gfoi) 是 定义 在 名 上 的 
% F— ASE ARH HELNE X A: 


gw) 
piw) 


[XX 在 p(w) =0 点 的 取 值 并 不 重要 ,我 们 可 以 假设 这 些 点 的 钱 (w) =0), ARH Jensen 
RE HX,(B.3), E(logX)=logE( X), PË 


X(t) = 








E(log X ) = 2 p(w;) log ae 
q, 
E(X)= Y gwi) 
r pitu, yD 
[AMA KAA. 2H HH, AE, ma ARER F ik aiii 





3 < 2 Plo) log ~~ toge 


D po, jo es 


并 且 由 于 lpgx EBB b 6). SARS X = POPES HRN FARA BART 
> plw.) = 1 ,这 个 常数 必然 等于 a ,因此 对 于 所 有 p(w, ) 40 89 i, BARS qla) = ap(w, ) 
时 等 式 成 立 。 显 然 其 中 并 没有 涉及 到 集合 0, 因此 可 以 得 到 如 下 定理 。 

定理 B.1 设 1 是 一 个 离散 的 整数 集合 ,并 设 了 (iE 中 是 一 个 满足 > ep = 1 的 正 
(NB}RKBS, wR q 是 另外 一 个 满足 > À = a 的 非 负 值 (NB}) 实 数 集合 , 则 


Y pi log — < Dplog — + loga (B.4) 


icf ref 


& Ay Taw i fh, g, = op, 时 等 式 成 立 。 


A eee Be LT e be 


A —— 


’ 
a vo marami a ee oa 
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例 B.2 设 昌 等 于 实数 轴 , 而 p(z) 是 一 个 密度 函 教 , 即 一 个 满足 | p(x) dx =1 HF AAR Z, 


HSER ptx) 是 人 上 的 一 个 概率 测度 [参见 附录 A). 设 gx) 是 定义 在 只 上 的 另外 一 个 
非 负 值 怠 数 , 计 定义 随机 变量 于 {x)= g(x)ip(x)。 再 次 应 用 Jensen 不 等 式 , 这 次 利用 
式 ( 态 .3) 计 算 期 望 ,会 得 到 ; 

q(x) 


|. p(x) log P ay = log | g(x) dx 


其 中 了 = jet p(x) >Ol, RMP B.1 中 的 讨论 ,可 以 引入 另外 一 个 定理 。 
定理 B.2 设 了 是 实数 轴 上 一 个 可 测量 的 子 集 ,而 p(x) 是 定义 在 1 上 的 一 个 正 (NB) 浮 
OBS | pla) d = l, WR g(x) 是 定义 在 TEMPE ñ dë (NB) BH, BR 


ie: =a, 
! 


| pix} log = dy = | p(x) log = dx + loga (B.5) 
当 且 人 私交 g(x) = ap(x) 时 等 式 成 立 。 


注 : 式 (B.4) 左 边 的 求 和 项 称 为 概率 分 布 (pl ,ps,…) 的 塘 ; 式 (B.5) 左 边 的 积分 项 旭 是 密度 


为 P{x) 的 随机 变量 的 担 分 精 。 奖 和 微分 炳 是 信息 理论 研究 的 中 心 ,在 本 市 的 第 一 部 分 中 有 许 
多 类 似 于 以 上 两 式 的 讨论 。 





附录 C 有 R W 


在 这 部 如 ,作为 参考 我 们 将 介绍 有 溉 域 的 基本 知识 ,以 满足 第 8 章 和 第 9 ACR. PEE 
的 参考 文献 是 Berlekamp| 14135 2 Bt oR 3 T.B 4 EAS 6 EL Niederreiter| 11 |. 


C.1 构造 


PUN F, 是 基本 的 构造 模块 ,在 这 里 p E—T KK. F, 域 的 元 素 包 括 10,1,…,p-1;， 
RE p 为 模 的 。 

F, Lim ERRETA y (Fi det m Boas(ay,a,,°".¢,-)) NEA, UR Zale 2 Y 
法 运算 TERRA F UT RE MEP B, oO V. OP, ALA - PR. 设 fla) =f + 
fix + + f," EF, EB T m 次 不 可 约 多 项 式 。 对 于 任意 的 m 和 p ,该 多项式 均 存 在 ;实际 
EIE t. 上 存在 : 

Int Pp) = -Y dp di 
"qm 
个 首 项 系数 为 ] 的 m HRA n pJ SASK AE py 是 Möbius- r, IFAI m WT A OF POR 
各 ,文献 1.22] 和 文献 [23] 中 给 出 大量 已 被 计算 出 的 不 可 约 多 项 式 表 ,现在 定 关 (上 F) 上 
a= {agi Cis saa) A D= (bobis bn- DFR ARE C= (eps e) 5 ts ens), EL c 8 F 2] P 3k 
HE- -IE : 
(aot ax doers F amix” Mbo b yx +: + bmx!) 
= (cu + cx +--+ Gra (mod fix) 

ERRIRE LERA SCRA RIMARRA eV, (F, RAP ee p 个 
元 素 的 域 。 根据 以 上 构造 过 程 ,有 多 少 个 m 次 不 TAEMA, MA 2 ph 3 RE NE 3 J x. 但 
实际 上 所 有 这 些 域 者 是 同 构 的 ,因此 这 种 域 通常 称 为 舍 pm 个 元 素 的 城 ,并 表示 为 GF(p") 
(GF El] Galois Fields 的 英文 缩写 ,以 纪念 其 发 现 者 Calois) 或 Fyn o 

上 述 构造 过 程 说 明了 对 于 所 有 的 素数 p 和 正 整 数 普 ,如 和 何 构造 一 个 当 pw 个 元 素 的 域 . 反 
之 ,任何 包含 有 限 个 元 素 的 域 必 然 有 具有 这 种 结构 ,例如 不 存在 含 65 个 元 素 的 域 .。 素数 p 称 为 域 
的 特征 . 

更 一 般 地 ,如果 F. 是 一 个 含 q 个 元 素 的 有 限 域 (在 此 q 不 必 是 一 个 素数 ;也 可 以 是 -个 率 
we) AA F. 上 的 一 个 严 次 不 可 约 多 项 式 ,可 以 将 矢量 空间 VF, ) 转 化 为 一 个 
WAR ASR. Bg =p! 和 m = nig, 可 以 证 明 如 果 n 能 够 被 d 整除 , 则 Fy 可 以 看 做 是 F. 
的 一 :个子 域 。 反 之 ,如 果 不 能 被 d 整除, 则 F. AE Fa PPR. 


C.2 乘法 结构 


R F, 是 一 个 含 g = pm 个 元 素 的 有 限 域 。F, 中 的 非 零 元 素 构 成 一 个 (9 - DMR 


ae i SL 4 FAR ; FE: 
wl 1, EY. Wins = 4 pe 
35 ae b =l te i at ' 
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,实质 上 也 是 一 个 循环 群 。 由 此 可 知 当 且 仅 当 4 Elg- 1) 的 因子 时 ,F 包 含 一 个 d 阶 元 
Eir LE- DREA d ERR, METES d) d MIRO = Euler PLB), — T 
Ca- 1) 阶乘 法 郊 素 , 即 群 fF 的 生成 元 素 被 称 为 本 原 根 。 
由 此 可 以 得 出 结论 ,PR” 中 的 每 个 元 素 部 满足 a-' =1, 而 F, 中 的 每 个 元 素 都 满足 = a, 
如 果 对 于 其 个 严 值 ,将 域 看 做 是 的 一 个 子 域 , 则 下 面 的 等 式 描述 了 F, 的 基本 性 质 , 即 : 
fi SAM4ac F, 


C.3 HMR jv Z IN SÇ 


如 果 将 Fe BAP, i m PP Pš RN ano! PARA, FOE TEN, FB 
(+P = at — pt 

a MJ RMA o at. at ,… 中 取 值 不 同 的 元 素 ; 央 此, 如果 是 满足 a” = wa 的 最 小 整数 ， 
WW a 的 共 罗 类 包括 ia ,a ,ar 1. RBA RA a 的 阶 数 ; 由 此 可 知 上 是 m 的 因子 ,并 且 
a € Fy ,和 不 可 能 属于 其 他 任何 “个 更 小 的 域 。 

a 的 最 小 多 项 式 定义 为 系数 属于 OF, . 阶 数 最 低 ATARA 1 且 满 足 f(a) =0 的 多 项 式 
flrs JOME F, 上 是 不 可 约 的 ,但 在 更 大 的 域 Fn 中 ,f(x) 可 以 进行 线性 因 式 分 解 : 

f(x) = (y aHa — a} (x — at) 

因此 f(x) 的 次 数 与 a 的 阶 数 相同 

WS a Fo PRPS BR < 的 最 小 多 项 式 称 为 F, 上 的 本 原 多 项 式 。 为 方便 起 见 ， 
浦 常 将 这 个 过 程 反 过 来 ,利用 - :个 本 序 多 项 式 来 构造 域 。 例 如 ,通过 参考 文献 . 22] 或 文献 [23] 
中 的 表 , 我 们 发 现 f)at tet EÈ F LOTR (IS kt e 5 n] AM) 2K. PB fx) 
是 F dh -个 本 原 根 (我 们 用 a 表示 ) 的 最 小 多 项 式 。 因 此 所 由 元 素 10,1,0,a ,…,a i 组 
成 ,并 日 通过 反复 利用 等 式 at = a+1, 书 以 将 每 个 第 表示 为 = 的 一 个 次 数 志 3 的 多 项 式 。 
最 后 得 出 下 表 : 


i g 

0 I 
I q 

2 a 

3 a. 

d m + 1 
5 of + ot 

á ota 

? w+ a+ l 
Q a + 1 
9 n° + ü 
iC ot at 1 
Il a ta + oa 

1? eto tat i 
13 ota +] 
14 a” + | 
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这 种 表 非 常 便于 计算 .例如 ,如 果 用 来 目 VC, ) 的 矢量 表示 所 ,中 的 元 素 , 则 可 以 按 如 下 
方式 计算 1101 ÆA 0111 ZAR: 
1101 =a? +a’ + l =a" 
0111 =a? +a+l=a" 
a”? -a = ga” = aŠ = a? + 1 = 0101 


因此 在 Fi 中 101) :0111) = (01012. 
C.4 (x'-1) # F, ELEWARA 


如 果 F. AREA p, A n= p'a BY iz 1,W FP, Pot -1=(x% — 1)? 。 如 果 假 设 n 
和 p 是 互 质 的 ,出 至 少 存在 一 个 整数 m, fE q = 1 (mod n), Bl n 能够 整除 q- 1。 内 此 域 
Fa ;而 不 是 一 个 更 小 的 域 , 将 包含 一 个 n 阶 本 原单 位 根 ,以 8 表示。 在 域 Fn 中 ， 


n-l 
—1= ]]a-A) 
i=) 


但 在 更 小 的 域 F 中 , 税 -1 是 有 的 各 次 寡 ( 互 不 相等 ) 的 最 小 多 项 式 滋 积 。 这 里 通过 一 个 例题 


可 以 说 明 ( 和 参照 9.8 Ti). 
tg =2,n223, AY 2” =i (mod 23), 故 已 包含 一 个 23 阶 本 原单 位 根 。8 = 1 的 最 小 


多 项 式 显然 是 x - 1, 8 的 最 小 多 项 式 为 : 
10 
g(x) = | [e -8 


:=() 


因为 户 =B RUE E =i), 
g(x) = (x — Bix — Bx — BY -A — BY — BY 一 有) 
(x — BP — Px — B Xx- B!) 
类 似 地 ,所 的 最 小 多 项 式 是 : 
B(x) = (x — Ba — BM — Br — BY — BUY — BP Ya — BY) 
. (x — BY — BP — BY BY 
因为 上 面 已 经 包括 了 BAO AE s -1 在 F, 上 可 因 式 分 解 为 如 下 不 可 约 因 式 ; 
(x? — 1) = (x — I g(x) B(x) 
通过 在 F, 上 对 x* - 1 直接 分 解困 式 ,可 以 得 到 : 
gi = x aa? tx qX tr 4x41 
Xx 二 xl tx 4 xo pr +q xt ter + 


(参见 文献 [22j 或 文献 [23] 。) 
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附录 D 利用 方 加 图 求解 路 径 枚 举 多 项 式 


(为 了 更 详细 地 了 解 本 部 分 内 容 , 可 以 参考 Aho, Hoperoft 和 Ullman[1] 第 5 章 , 或 者 Mason 
和 Zimmermnani 10] 4 $.) 

W G=(V. E)E-— 8 rinl. Hdi Valeo, EARTE ANKE, EBV PAR 
对 (被 称 为 分 支 ) 的 子 集 。 通 过 平面 二 一 组 与 下 中 元 素 相 对 应 的 点 ,可 以 用 图 示 的 方法 表示 
G WR, 2) EBM o Fle 面 一 条 带 方 回 的 连 线 。 例 如 在 图 D.i 中 ,我 们 画 出 了 G 的 图 
He AT!) F= lasa b.c. d|. E= | ansc), (b,a), (b,c), te b), (e, d), (d. b) (d. d)i. 
[ 注 : 图 D. 1 中 的 图 形 与 图 10.14 中 的 完全 相同 .1] 

AS PENE H BE RUE AA og, vds Copsey). Ce ta B RR, BOR 
一 条 路 径 称 为 从 加 到 的 氏 度 为 二 的 路 径 , 并 且 通 常用 字符 串 sein, 表示 。 例如 ,在 
AA D.P P = aycheddba, 是 ~ 条 从 ay 到 a, 长 度 为 了 的 路 径 ， 





图 D.1 图 形 G 


现在 假设 在 G 的 每 个 分 支 上 做 一 个 标注 ,并 且 明 确 规 定 这 些 标注 是 0 和 ! 之 间 的 实数 。 
当然 如 果 标 注 取 自 更 为 一 般 的 代数 域 ,下 面 的 论述 仍然 有 效 。( 参 见 文献 [1],5.6 r.) E 
图 D.1 中 的 7 个 分 支 分 别 被 标注 泡 4,8,… ,CGC。 我 们 定义 路 径 的 标注 为 其 组 成 分 支 的 标注 的 
乘积 。 例 如 上 述 路 径 P 的 标注 为 4BCDEFG。 这 里 需要 研究 的 问题 是 计算 G 中 连接 两 个 指定 
节点 的 所 有 路 径 标 注 的 总 和 , 称 这 个 数值 为 两 个 节点 之 间 的 传输 量 。 
在 讨论 图 D.1 之 前 , 先 考虑 一 个 简单 一 些 的 图 形 ,如 图 D.2 所 示 , 其 中 站 = lnn h, 
E= |lu) vv) an) lny) lo 在 这 个 图 形 中 ,ww He, 之 间 存 在 无 穷 多 条 路 径 ,例如 
Con) Crwn) Conn) )s (00,00, ) 等 。 显然 o 和 vw 之 闻 所 有 路 径 标 注 的 总 和 是 ， 
Ly + La L; + L La bay + L Li Ly t+ 
= L; + L.L (l+ L + Ll + Li too) 
La Li 
1- Ls 


因此 ,图 D.2 中 心 和 nm 之 加 的 传输 量 由 下 式 给 出 ; 
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Li hog 

J = Lys 

挽 句 话说 ,图 D.2 中 wv 和 mw 之 间 的 传输 量 与 图 D.3 中 ww Mo, 之 间 的 传输 量 相同 ,图 D.3 中 的 
图 形 6 可 以 由 图 D.2 中 的 图 形 G MIER TUR v. ,并 根据 下 述 规 则 改 瑟 标注 L, 049351. 
Das Lai 

|= Ly, 

这 意味 着 , 当 计 算 一 个 复 森 图 形 中 两 个 给 定 节 点 之 间 的 传输 量 时 ,可 以 将 图 形 中 的 中 间 节 点 一 
个 接 一 个 地 删除 ,并 根据 式 (D.1) 重 新 定义 分 文 标注 。 因 起 最 终 将 得 到 一 个 仅 售 两 个 节点 的 
图 形 ,而 这 两 个 节点 之 则 的 传输 量 可 以 直接 从 图 形 中 读 取 { 见 习题 10.9). 


T(Vi, Vj) = Ly + 


(D.1) 





Ly = Ly + 





; 
图 D.3 CHRE 
现在 利用 这 种 方法 计算 图 D.i 中 a Ma 间 的 传输 量 。 首 先 删除 节点 4; 结 果 如 图 D.4 


AT AN « 





名.4 图 D.I 删除 节点 4 后 


然后 删除 节点 <。 结果 如 图 D.5 fie. ADS 中 的 网 形 与 图 D.2 中 的 类 似 ,这 样 可 以 直 


RAARO. DHR a 和 a, 间 的 传输 量 。 结 果 是 : 
AB(C — CG + EF) 
Mao m) = TIG- CDE CDG ~ DEF i 
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ai a 





AC-ACU+AEF 
l-G 


CD CDGtPEF 
1-G 


图 D.5 20.4 RTA ¿ RR 


在 第 10 章 中 ,需要 考虑 式 (D.2) 的 两 种 特殊 情形 ,其 中 的 标注 由 下 表 给 出 ( 见 图 10.14 和 
图 10.15): 


标注 情况 1 情况 2 


A x” x wz 
B x* xy 
C x xy 
p i yz 
Ë x xyz 
F x xy 
G x xyz 
将 这 些 值 代 人 式 (D.2) ,得 到 : 
š 
A(x) = — (D.3) 
xyz 
= —— D.4 
A(x, = TT + 2) (D.4) 


[比较 式 (10,.117 和 式 (10.13)。 | 
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3.1 


E BB ORR 5| 


主要 内 容 


HOX AY AL 


ACX| Y) e H Z) + E(logA) (推论 :Fano 不 等 式 ) 


KX: V)>0 

KAX Y Zai Y; Z) 

X,Y,Z E— T Markov SE. K X; Z) 2 (OX: Y) 
1X; YERA Eo ES) Bae 

KX VERRE or hy FAU pak 


如 果 x. lal aka AX Ye DUG) 


如 果 信 道 无 记忆 , 则 CXS Yg XKX: Y) 
I(X:Y)= h(X)- ACXEY) 
oe PE ACK BOER AL 


COSA EAN TE 

对 于 DMC, C. (8) = nC (3) 
对 称 DMC 的 容量 
(Aid Ai ee 


R, (CO) F E U TE 
Al F DMS, R, (3) = kR CE) 
对 称 DMS 的 RCS) 


高 斯 信道 ; C{B) = 5 logi 1 + Bio) 
高 斯 信道 的 编码 定理 

高 斯 信 源 : R, (8) = max( > logo*/3,0) 
BAH: R (0) = kR (ó) 

高 斯 信 源 的 信和 源 编 码 定 理 


信 源 -信道 编码 定理 


29 
31 
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9.10 
9.1] 
9.12 
9.13 
9.14 


定理 索引 


线性 码 的 基本 年 阵 
egli dun- 12] 
利用 HR dain 

H E tF 

Py Aly) -1 
Mac Williams TH xt 


Jë FD ES fu PR He aS 

(GPG x; 2 THE ET EE 
有 关 循 环 码 的 主要 定理 
“mod p( x) 电路 


Ja ASS op IE PT EB HE Ze Ç 


循环 议 明 码 

短 突 发 描述 的 惟 - 一 性 
KEA b 的 突 发 图 案 的 数 日 
s SURYA BJ U BH SE 

EU IE 2 Ac Fe Pa hi J F PR 

H pE E Ae $B PE Ru 3c 2H zg JE 
30 2H te ERS 
TREUE 3 A FE eS 

Fire 构造 法 

Meggitt 弓 [ 理 


BCH i 

循环 BCH 码 

BCH 论证 

关键 方程 

利用 网 几 里 得 算法 求解 全 等 方程 
欧 几 里 得 "程序 ” 

循环 RS TB 

Singleton 7+ 

MDS 码 的 插值 特性 

RS 码 的 另外 -种 描述 


ey + 2e, = d — lí Fy = 删除 符号 数 ,e， = Fee) 


AT F RSH, ete = r 
(23,12) Golay 做 的 重量 
(24,12) Golay RB RJ Sf B! 
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11.1 
11.2 
11.3 
11.4 
11.5 
11.6 
11.7 


B.1 
B.2 


信息 论 与 编码 理论 (第 二 版 ) 


WH UDB. A Se < 1 

如 时 ie = 1 WERRIBEE 
n, (p)> H,(p) 

n (p)< H.(p)+] 

lim m a (pP) = E, (p) 

有 关 最 性 异 前 强 和 码 的 结论 

Huffman 结论 


Jensen 不 等 式 ( 离 散人 情况 ) 
Jensen 不 等 式 (连续 情况 } 


